[논문 리뷰] Multidimensional Scaling, Sammon Mapping, and Isomap: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi외 2명|arXiv (Cornell University)|2020. 09. 17.

Face and Expression Recognition참고 문헌 46인용 수 22

한 줄 요약

이 튜토리얼 및 서베이는 다차원 척도법(MDS), 사모닉 매핑, 아이소메이프에 대한 종합적인 개요를 제공하며, 이들의 이론적 기초, 수학적 수식, 실용적 구현을 상세히 다룬다. 고유함수와 커널 매핑을 이용한 샘플 외 확장 기법과 랜드마크 기반 MDS 및 아이소메이프의 스케일러블 변형을 소개하며, MNIST 데이터에 대한 시뮬레이션을 통해 전반적인 데이터 구조를 유지하는 의미 있는 저차원 임bedding을 입증한다.

ABSTRACT

Multidimensional Scaling (MDS) is one of the first fundamental manifold learning methods. It can be categorized into several methods, i.e., classical MDS, kernel classical MDS, metric MDS, and non-metric MDS. Sammon mapping and Isomap can be considered as special cases of metric MDS and kernel classical MDS, respectively. In this tutorial and survey paper, we review the theory of MDS, Sammon mapping, and Isomap in detail. We explain all the mentioned categories of MDS. Then, Sammon mapping, Isomap, and kernel Isomap are explained. Out-of-sample embedding for MDS and Isomap using eigenfunctions and kernel mapping are introduced. Then, Nystrom approximation and its use in landmark MDS and landmark Isomap are introduced for big data embedding. We also provide some simulations for illustrating the embedding by these methods.

연구 동기 및 목표

• 고전적 MDS, 거리 기반 MDS, 비거리 기반 MDS, 사모닉 매핑, 아이소메이프에 대한 통합된 이론적 및 실용적 튜토리얼 제공
• 고유함수와 커널 매핑을 이용한 MDS 및 아이소메이프의 샘플 외 임베딩 기법 설명
• 니스트롬 근사법을 활용한 랜드마크 MDS 및 랜드마크 아이소메이프를 통한 대규모 다양체 학습의 스케일러블한 접근법 소개
• MNIST 데이터셋에 대한 시뮬레이션을 통해 저차원 임베딩에서 전반적인 데이터 구조의 유지 여부를 검증

제안 방법

• 고전적 MDS는 입력 및 임베딩된 그램 행렬 간의 프로베니우스 노름 최소화 문제로 공식화되며, 이중 중심화된 거리 행렬의 고유값 분해를 통해 해결된다.
• 사모닉 매핑은 상대적 점 간 거리 기반 스트레스 함수를 최소화하는 특수한 거리 기반 MDS의 한 형태로, 반복적으로 해결된다.
• 아이소메이프는 이웃성 그래프 상에서 최단 경로를 통해 계산된 지오데식 거리를 사용하는 커널 고전적 MDS의 변형으로, 비선형 다양체 학습이 가능하다.
• MDS 및 아이소메이프의 샘플 외 확장 기법은 커널 행렬의 고유함수와 커널 매핑을 이용해 유도되며, 새로운 데이터 포인트의 임베딩을 가능하게 한다.
• 랜드마크 MDS 및 아이소메이프는 니스트롬 근사법을 활용해 거리 행렬 및 커널 행렬의 낮은 질서 근사를 계산함으로써 대규모 데이터셋에 대한 계산 비용을 크게 감소시킨다.
• MNIST에 대한 시뮬레이션은 2000개의 훈련 샘플과 500개의 테스트 샘플을 사용하며, 다양한 방법의 구조 보존 정도를 평가하기 위해 임베딩을 시각화한다.

실험 결과

연구 질문

• RQ1 고전적 MDS, 거리 기반 MDS, 비거리 기반 MDS, 사모닉 매핑, 아이소메이프는 최적화 목표와 기하학적 해석에서 어떻게 다를까?
• RQ2 MDS 및 아이소메이프의 샘플 외 확장 기법의 이론적 기초는 무엇이며, 고유함수와 커널 매핑을 어떻게 활용해 임베딩을 일반화할 수 있을까?
• RQ3 니스트롬 근사법은 대규모 데이터셋에 대한 랜드마크 MDS 및 랜드마크 아이소메이프에서 다각체 학습의 스케일러비리티를 어떻게 가능하게 하는가?
• RQ4 이러한 방법들이 MNIST 데이터셋을 통해 저차원 임베딩에서 전반적인 데이터 구조와 클래스 간 분리도를 어느 정도 유지하는가?

주요 결과

• 고전적 MDS와 PCA는 회전 및 반사 변환까지는 동일한 임베딩을 생성하며, 내적 곱의 구조를 유지하는 데 있어 이론적으로 동치임을 입증한다.
• 사모닉 매핑은 유사한 숫자(예: 6과 8, 7과 9)가 가까이 배치되는 의미 있는 임베딩을 생성하지만, 반복 최적화가 필요하고 계산 비용이 높다.
• 아이소메이프 임베딩은 '문어처럼' 퍼져나간 클러스터와 기하학적 구조를 반영한 기하학적 거리 기반의 비선형 다양체 학습을 보여준다.
• 코사인 커널을 사용한 커널 아이소메이프는 전반적인 구조를 유지하며 표준 아이소메이프보다 비선형 다양체에 대해 더 높은 분리도를 제공한다.
• 고유함수와 커널 매핑을 이용한 샘플 외 확장 기법은 MDS 및 아이소메이프의 새로운 데이터 포인트에 대한 일반화에 성공했으며, 지오데식 거리 계산의 근사로 인해 아이소메이프에서는 약간의 평균 이동이 발생한다.
• 니스트롬 근사법을 사용한 랜드마크 MDS 및 랜드마크 아이소메이프는 계산 비용을 크게 감소시키면서도 임베딩 품질을 유지하여 대규모 데이터셋에서의 스케일러블한 다각체 학습을 가능하게 한다.