[論文レビュー] Multidimensional Scaling, Sammon Mapping, and Isomap: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Sep 17, 2020

Face and Expression Recognition参考文献 46被引用数 22

ひとこと要約

このチュートリアルおよびサーベイは、多次元尺度構成（MDS）、サモングマッピング、およびIsomapについて包括的な概要を提供し、それらの理論的基盤、数学的定式化、実装手法を詳述している。本稿では、固有関数およびカーネルマッピングを用いたout-of-sample拡張、およびランドマークベースのMDSおよびIsomapにおけるNyström近似を用いたスケーラブルな変種を紹介しており、MNISTデータ上で実施されたシミュレーションにより、グローバルなデータ構造を保持する意味のある低次元埋め込みが得られることを検証している。

ABSTRACT

Multidimensional Scaling (MDS) is one of the first fundamental manifold learning methods. It can be categorized into several methods, i.e., classical MDS, kernel classical MDS, metric MDS, and non-metric MDS. Sammon mapping and Isomap can be considered as special cases of metric MDS and kernel classical MDS, respectively. In this tutorial and survey paper, we review the theory of MDS, Sammon mapping, and Isomap in detail. We explain all the mentioned categories of MDS. Then, Sammon mapping, Isomap, and kernel Isomap are explained. Out-of-sample embedding for MDS and Isomap using eigenfunctions and kernel mapping are introduced. Then, Nystrom approximation and its use in landmark MDS and landmark Isomap are introduced for big data embedding. We also provide some simulations for illustrating the embedding by these methods.

研究の動機と目的

• 古典的MDS、計量MDS、非計量MDS、サモングマッピング、Isomapに関する統一的で理論的かつ実用的なチュートリアルの提供。
• 固有関数およびカーネルマッピングを用いたMDSおよびIsomapのout-of-sample埋め込み技術の解説。
• Nyström近似を用いたランドマークMDSおよびランドマークIsomapによる大規模な多様体学習のスケーラブルな手法の導入。
• MNISTデータセットを用いたシミュレーションにより、低次元埋め込みにおけるグローバルなデータ構造の保持を検証。

提案手法

• 古典的MDSは、入力と埋め込みのグラム行列間のフロベニウスノルムの最小化として定式化され、二重センター化された距離行列の固有値分解により解かれる。
• サモングマッピングは、相対的な点間距離に基づくストレス関数を最小化する計量MDSの特殊ケースとして導入され、反復的に解かれる。
• Isomapは、近傍グラフ上の最短経路により計算された測地的距離を用いるカーネル古典的MDSの変種として提示され、非線形多様体学習を可能にする。
• MDSおよびIsomapのout-of-sample拡張は、カーネル行列の固有関数およびカーネルマッピングを用いて導出され、新たなデータポイントの埋め込みが可能になる。
• ランドマークMDSおよびランドマークIsomapは、距離行列およびカーネル行列の低ランク近似をNyström近似により計算し、大規模データセットにおける計算コストを顕著に削減する。
• MNIST上でのシミュレーションでは、2000件の訓練データおよび500件のテストデータを用い、各手法における構造の保持度を可視化して評価した。

実験結果

リサーチクエスチョン

• RQ1 古典的MDS、計量MDS、非計量MDS、サモングマッピング、Isomapは、最適化目的関数および幾何的解釈においてどのように異なるか？
• RQ2 MDSおよびIsomapにおけるout-of-sample拡張の理論的根拠は何か？また、固有関数およびカーネルマッピングを用いることで、どのように埋め込みを一般化できるか？
• RQ3 Nyström近似は、大規模データセットにおけるランドマークMDSおよびランドマークIsomapのスケーラブルな多様体学習をどのように可能にするか？
• RQ4 これらの手法は、MNISTデータセット上で示されるように、低次元埋め込みにおいてグローバルなデータ構造およびクラス分離性をどの程度保持するか？

主な発見

• 古典的MDSとPCAは、回転および反射を除いて同一の埋め込みを生成するため、内積構造の保持という点で理論的に同等であることが裏付けられる。
• サモングマッピングは、類似した数字（例：6と8、7と9）が近接して配置される意味のある埋め込みを生成するが、反復的最適化を要するため計算が遅い。
• Isomapの埋め込みは、「タコのような」構造を示し、明確なクラスタと細長い多様体を反映しており、測地的距離に基づく非線形構造学習を示している。
• コサインカーネルを用いたカーネルIsomapは、グローバル構造を保持し、特に非線形多様体を有するデータに対して、標準的なIsomapよりも分離性が向上する。
• 固有関数およびカーネルマッピングを用いたout-of-sample拡張は、MDSおよびIsomapの新たなデータへの一般化に成功しており、測地的距離計算の近似に起因するわずかな平均シフトがIsomapで観察されるが、全体として良好な性能を示す。
• Nyström近似を用いたランドマークMDSおよびランドマークIsomapは、計算コストを顕著に削減しながらも埋め込みの品質を維持でき、大規模データセットにおけるスケーラブルな多様体学習を可能にする。