[論文レビュー] TriMap: Large-scale Dimensionality Reduction Using Triplets

Ehsan Amid, Manfred K. Warmuth|arXiv (Cornell University)|Oct 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 9被引用数 30

ひとこと要約

TriMap は、ペアワイズ類似度に依存するのではなく、三つ組制約（点 i が点 k よりも点 j よりも近い）を用いることで、低次元埋め込みにおけるグローバル構造の保存を向上させる、高速でスケーラブルな次元削減手法である。t-SNE や LargeVis、UMAP よりもグローバルスコアと実行時間で優れており、数百万点のデータセットに対しても効率的にスケーリングされ、高品質なクラスタリングおよび階層的構造の可視化を維持する。

ABSTRACT

We introduce "TriMap"; a dimensionality reduction technique based on triplet constraints, which preserves the global structure of the data better than the other commonly used methods such as t-SNE, LargeVis, and UMAP. To quantify the global accuracy of the embedding, we introduce a score that roughly reflects the relative placement of the clusters rather than the individual points. We empirically show the excellent performance of TriMap on a large variety of datasets in terms of the quality of the embedding as well as the runtime. On our performance benchmarks, TriMap easily scales to millions of points without depleting the memory and clearly outperforms t-SNE, LargeVis, and UMAP in terms of runtime.

研究の動機と目的

• t-SNE や UMAP、LargeVis などの既存の非線形次元削減手法がグローバルデータ構造の保持にあまり注力していないという点を解決すること。
• 高次元空間におけるクラスタの相対的位置を埋め込みがどの程度反映しているかを評価する新しい定量的指標（グローバルスコア）を導入すること。
• ローカル精度を損なわせることなくグローバル構造の保持を最優先する、スケーラブルで効率的な次元削減手法を開発すること。
• コンsumer ハードウェアでメモリ使用量を最小限に抑えながら、大規模な高次元データセット（例：数百万点）の可視化を可能にすること。

提案手法

• 初期埋め込みをPCA射影によって行い、分散の保存においてグローバルに最適なベースラインを提供する。
• 高次元データから得られる三つ組制約（i, j, k）を用いて、初期PCA埋め込みを向上させる。ここで、点 i は点 k よりも点 j よりも近い。
• 高次元空間における三つ組構造と低次元埋め込みとの乖離を最小化する微分可能な最適化目的関数を用いる。
• 三つ組のサンプリングは、データのグローバル構造を十分にカバーするように工夫され、計算効率を維持する。
• 高速性とメモリ効率を最適化しており、170万点を超えるデータセットへのスケーリングが可能である。
• 広範なアクセシビリティとパフォーマンスのポータビリティを実現するため、JAX を用いた実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズベースの手法（t-SNE や UMAP、LargeVis など）と比較して、三つ組制約に基づく次元削減手法が、高次元データのグローバル構造をより効果的に保持できるか。
• RQ2 ローカル近傍の忠実度を越えて、埋め込みのグローバル精度を定量化する指標をどのように定義し、それをどのように評価に用いるか。
• RQ3 大規模データセットにおいても高いグローバル構造忠実度を維持できる、スケーラブルで高速かつメモリ効率の良いDR手法を設計できるか。
• RQ4 TriMap は、他の手法が捉えられないような、実世界のデータ（例：ニューラルネットワークの活性化）における階層的およびクラスタレベルの構造を明らかにできるか。

主な発見

• CIFAR-10 FC1 层では、TriMap がグローバルスコア（GS）0.70 を達成したのに対し、t-SNE は 0.58 にとどまり、クラスタの配置やグローバル構造の保存が優れていることが示された。
• 170万点の Character Font Images データセットでは、TriMap は約1.3時間で埋め込みを完了したが、LargeVis は3時間以上、UMAP は12時間以上かかっており、実行時間におけるスケーラビリティの優位性が明らかになった。
• 合成的な S 曲線およびスイスロール多様体を含む、すべてのテストデータセットにおいて、TriMap は t-SNE、LargeVis、UMAP を上回るグローバルスコアを達成した。また、最近隣接点AUCの指標では、同程度のローカル精度を維持した。
• ニューラルネットワーク層の可視化において、TriMap は t-SNE が捉えられなかった階層的クラスタ（例：「動物」と「車両」のスーパークラスタ）を明確に可視化した。これは、より高い GS 値が示すグローバル忠実度の向上を裏付けている。
• メモリの枯渇を起こさずに数百万点のデータセットへスケーリング可能である一方、UMAP は約400万点を超えるデータセットではメモリ不足エラーを発生させた。
• TriMap の JAX 実装により、効率的かつ並列化された実行が可能となり、コミュニティによる利用および拡張が可能である。