[論文レビュー] Understanding How Dimension Reduction Tools Work: An Empirical Approach to Deciphering t-SNE, UMAP, TriMAP, and PaCMAP for Data Visualization

Yingfan Wang, Haiyang Huang+2 more|arXiv (Cornell University)|Dec 8, 2020

Data Visualization and Analytics参考文献 46被引用数 241

ひとこと要約

tldr: 本論文はDR法において局所構造と全体構造がなぜ保持されるのかを分析し、効果的な損失設計の原則を提案し、局所・全体の両方の構造を保持する新しいアルゴリズム PaCMAP を提示します。さらにグラフ成分の選択と初期化効果についての指針も提供します。

ABSTRACT

Dimension reduction (DR) techniques such as t-SNE, UMAP, and TriMAP have demonstrated impressive visualization performance on many real world datasets. One tension that has always faced these methods is the trade-off between preservation of global structure and preservation of local structure: these methods can either handle one or the other, but not both. In this work, our main goal is to understand what aspects of DR methods are important for preserving both local and global structure: it is difficult to design a better method without a true understanding of the choices we make in our algorithms and their empirical impact on the lower-dimensional embeddings they produce. Towards the goal of local structure preservation, we provide several useful design principles for DR loss functions based on our new understanding of the mechanisms behind successful DR methods. Towards the goal of global structure preservation, our analysis illuminates that the choice of which components to preserve is important. We leverage these insights to design a new algorithm for DR, called Pairwise Controlled Manifold Approximation Projection (PaCMAP), which preserves both local and global structure. Our work provides several unexpected insights into what design choices both to make and avoid when constructing DR algorithms.

研究の動機と目的

• DR の損失関数のどの側面が局所構造と全体構造の保持に影響するかを特定する。
• グラフ成分（近傍、ミッドニア、さらなる点）が埋め込みにどのように影響するかを理解する。
• 局所構造と全体構造の両方を保持するシンプルな損失を開発する。
• 初期化とスケーリングがDR の性能に与える影響を示す。
• PaCMAP を導入し、両方の構造を保持する能力を実証する。

提案手法

• 損失関数とグラフ成分の分析を通じて、t-SNE、UMAP、TriMAP、PaCMAP をレビュー・比較する。
• グラフ構造に結びつく高次元・低次元成分に損失を分解する統一的な DR 目的関数を提案する。
• レインボー図を、手法間の損失機構を比較する可視化ツールとして導入する。
• 局所構造の保持とグローバル構造の認識を促す損失設計の原則を導出する。
• 近傍、ミッドネア、遠方点ペアの3段階重み付け方式を用いて PaCMAP を定義・実装する。

実験結果

リサーチクエスチョン

• RQ1 DR 損失関数のうち、局所構造と全体構造の保持に重要な要素は何か？
• RQ2 単純な損失関数で、統一的な枠組みの中で局所構造と全体構造の両方を保持できるか？
• RQ3 グラフ成分の選択（近傍、ミッドネア、さらなる点）が埋め込みの品質にどう影響するか？
• RQ4 全体構造の保持に対する DR の性能において、初期化はどのような役割を果たすか？
• RQ5 新しいアルゴリズム（PaCMAP）は、特定された原理を体現し、両方の構造を保持する点で既存手法を上回ることができるか？

主な発見

• 損失関数の設計とグラフ成分の選択は、DR埋め込みにおける局所構造と全体構造の保持に決定的に影響する。
• 統一的な DR 目的関数は、グラフ成分全体にわたる高次元項と低次元項へ分解でき、原理的分析を可能にする。
• 提案された原理に沿った PaCMAP の損失は、局所構造と全体構造の両方を保持し、中間近接ペアを用いてグローバルな関係を維持するのに役立つ。
• 初期化は、いくつかの DR 手法における全体構造の保持に驚くべき影響を与えることがある。
• PaCMAP は、代表的なデータセットに対して、局所構造では UMAP と、全体構造では TriMap に対して競争力のある性能を示す。