[論文レビュー] UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction

Leland McInnes, John J. Healy+1 more|arXiv (Cornell University)|Feb 9, 2018

Advanced Vision and Imaging参考文献 43被引用数 7,412

ひとこと要約

UMAP はリーマン幾何学と代数的トポロジに理論的根拠を持つ新しい多様体学習による次元削減手法であり、t-SNE に対して視覚化品質が競争力を持ち、グローバル構造の保持が改善され、埋め込み次元の制限なしにスケーラブルな性能を実現します。

ABSTRACT

UMAP (Uniform Manifold Approximation and Projection) is a novel manifold learning technique for dimension reduction. UMAP is constructed from a theoretical framework based in Riemannian geometry and algebraic topology. The result is a practical scalable algorithm that applies to real world data. The UMAP algorithm is competitive with t-SNE for visualization quality, and arguably preserves more of the global structure with superior run time performance. Furthermore, UMAP has no computational restrictions on embedding dimension, making it viable as a general purpose dimension reduction technique for machine learning.

研究の動機と目的

• manifold 学習に基づく理論的根拠を持つスケーラブルな次元削減手法を提供する。
• 埋め込み中にデータの局所構造とグローバル構造のできるだけ多くを保持する。
• 実世界の大規模データセットを効率的に処理できる実用的なアルゴリズムを開発する。
• 設計選択を正当化するためにリーマン幾何学とトポロジカルデータ解析への明確な結びつきを確立する。

提案手法

• マンifold 上の測地距離を局所的に最近傍 k 個の距離を正規化して近似し、点ごとの局所メトリクスを得る。
• 局所的なメトリック空間からファジー位相表現（ファジー単体集合）を構築し、それらをファジー結合によってグローバル表現に融合させる。
• データ多様体を局所的な接続性とメトリックスケーリングを反映した重み付き k-近傍グラフとして表現する。
• データを低次元のレイアウトへ埋め込み、元の高次元と低次元のファジー位相表現間のクロスエントロピーを最小化することで埋め込みを得る（1-スケルトンに焦点を当てる）。
• 埋め込み空間で力学的に配置を設計するフォース・ダイレクト型グラフレイアウトを用い、引力と反発力を慎重に設計し、安定性を得るための段階的なアニーリング様のスケジュールを採用する。
• 構築と最適化は、シンプレリック集合、距離空間、随伴函子を結ぶ数学的基盤に基づき、原理的な意思決定を保証する。

実験結果

リサーチクエスチョン

• RQ1 高次元データを忠実に表現するトポロジー表現をどのように構築して次元削減を導くべきか。
• RQ2 局所適応型で幾何学を意識したグラフ表現は、スケーラブルかつ意味のある低次元埋め込みを生み出せるか。
• RQ3 UMAP の埋め込み品質と実行時間は、t-SNE や LargeVis のような確立手法と実世界データセットでどう比較されるか。
• RQ4 理論的枠組みにより正当化されたハイパーパラメータの選択とアルゴリズム手順は、タスク固有の実験よりも妥当性を持つか。

主な発見

• UMAP は t-SNE と比較して競争力のある視覚化品質を達成する。
• いくつかの代替手法よりもグローバルなデータ構造をより多く保持するとみなされる。
• アルゴリズムは大規模データセットに対するランタイム性能とスケーラビリティに優れる。
• 埋め込み次元に対する計算上の制限がないため、UMAP を汎用的な次元削減ツールとして利用できる。
• この手法はリーマン幾何学とトポロジ的データ解析を実用的でスケーラブルな実装と組み合わせた厳密な数学的枠組みに基づいている。
• UMAP はバイオ情報学、材料科学、機械学習などの分野で広く利用されている。