[論文レビュー] Uniform Manifold Approximation and Projection (UMAP) and its Variants: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Aug 25, 2021

3D Shape Modeling and Analysis参考文献 9被引用数 36

ひとこと要約

UMAPとそのバリアントの包括的なチュートリアルと調査。アルゴリズムの基礎、理論的正当化、t-SNE/LargeVisとの比較、およびDensMAP、Parametric UMAP、Progressive UMAPなどの拡張を詳述。

ABSTRACT

Uniform Manifold Approximation and Projection (UMAP) is one of the state-of-the-art methods for dimensionality reduction and data visualization. This is a tutorial and survey paper on UMAP and its variants. We start with UMAP algorithm where we explain probabilities of neighborhood in the input and embedding spaces, optimization of cost function, training algorithm, derivation of gradients, and supervised and semi-supervised embedding by UMAP. Then, we introduce the theory behind UMAP by algebraic topology and category theory. Then, we introduce UMAP as a neighbor embedding method and compare it with t-SNE and LargeVis algorithms. We discuss negative sampling and repulsive forces in UMAP's cost function. DensMAP is then explained for density-preserving embedding. We then introduce parametric UMAP for embedding by deep learning and progressive UMAP for streaming and out-of-sample data embedding.

研究の動機と目的

• UMAPアルゴリズムを、近傍確率、埋め込み最適化、トレーニング手順、および勾配導出を含めて説明する。
• UMAPのコスト関数を正当化する代数トポロジーと圏論の基礎を提示する。
• UMAPをt-SNEとLargeVisと、近傍埋め込みと最適化の観点から比較する。
• UMAPのコスト関数における負例サンプリングと反発力とそれらの影響を論じる。
• DensMAP、Parametric UMAP、Progressive UMAPなどの拡張を紹介・説明する。

提案手法

• k-NNグラフとrho_iおよびsigma_i(Eq. 3-5)を使用して入力空間の近傍確率p_{ij}を定義する。
• パラメータaとbを用いて埋め込み空間の類似度q_{ij}を定義する(Eq. 7)。
• ファジィクロスエントロピーとして最適化目的 c2 を定式化する(Eq. 9-13)。
• ラプラシアン固有ベクトル分解による初期化と反発力のための負例サンプリングを含むSGDトレーニングループを説明する(Algorithm 1)。
• 引き寄せ項と反発項の閉形式勾配(Eqs. 14-15)を提供し、安定性epsilonを議論する。
• 分類項をコストに付加することによる教師あり/半教師あり varianteを説明する。

実験結果

リサーチクエスチョン

• RQ1 高次元データと低次元データ間でファジィトポロジー表現をどのように構築・整合させるのか。
• RQ2 p_{ij}とq_{ij}という確率定義が埋め込み最適化と近傍保存にどのように影響するのか。
• RQ3 UMAP、t-SNE、LargeVisは確率、コスト関数、および計算効率の点でどう異なるのか。
• RQ4 反発力と負例サンプリングが埋め込みの形成においてどのような役割を果たし、実効コスト関数とどう関連するのか。
• RQ5 DensMAP、Parametric UMAP、Progressive UMAPなど、非監視学習を超える拡張が提案されているが、それらはどのように定式化されているのか。

主な発見

• UMAPの埋め込みは、入力空間と埋め込み空間のファジィトポロジー表現をクロスエントロピー目的関数で一致させることによって導かれる。
• 埋め込み空間の確率はパラメータaとbを用いたCauchy様の形を取り、より速い最適化とミニバッチ更新への適合性を可能にする。
• UMAPは負例サンプリングを活用して反発力を近似し、大規模データセットでのスケーラブルな学習を実現する。
• 比較の結果、UMAP、t-SNE、LargeVisはいずれも引力と反発力を含む近傍埋め込みの哲学を共有するが、正規化と効率性の特性に差がある。
• 理論的正当化は、UMAPのコストをファジィトポロジーと圏の随伴関係と結びつけ、代数的トポロジーと圏論に基づく手法の基盤を提供する。
• DensMAP、Parametric UMAP、Progressive UMAPのような拡張は、密度保存、ディープラーニングベースの埋め込み、および新規データ/ストリーミング対応へUMAPを拡張する。