[論文レビュー] Relating tSNE and UMAP to Classical Dimensionality Reduction

Andrew Draganov, Simon Dohn|arXiv (Cornell University)|Jun 20, 2023

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本論文は、現代の引力・斥力に基づく次元削減法（tSNE、UMAP）と古典的手法（PCA、LLE）の理論的関係を確立し、PCAが引力・斥力ダイナミクスを用いて回復可能であることを示し、UMAPのカーネルを用いる際のLLE勾配がtSNE/UMAPの勾配と非常に類似していることを示している。主な貢献は、ARDR手法と古典的手法を結びつける形式的枠組みを提供することであり、tSNE/UMAPの埋め込みに対する収束保証と解釈可能性の向上を可能にする。

ABSTRACT

It has become standard to use gradient-based dimensionality reduction (DR) methods like tSNE and UMAP when explaining what AI models have learned. This makes sense: these methods are fast, robust, and have an uncanny ability to find semantic patterns in high-dimensional data without supervision. Despite this, gradient-based DR methods lack the most important quality that an explainability method should possess: themselves being explainable. That is, given a UMAP output, it is currently unclear what one can say about the corresponding input. We work towards closing this question by relating UMAP to classical DR techniques. Specifically, we show that one can fully recover methods like PCA, MDS, and ISOMAP in the modern DR paradigm: by applying attractions and repulsions onto a randomly initialized dataset. We also show that, with a small change, Locally Linear Embeddings (LLE) can indistinguishably reproduce UMAP outputs. This implies that the UMAP effective objective is minimized by this modified version of LLE (and vice versa). Given this, we discuss what must be true of UMAP emebddings and present avenues for future work.

研究の動機と目的

• tSNEおよびUMAPはニューラルネットワーク表現の説明に広く用いられているが、収束保証や解釈可能性に欠けるという問題に対処すること。
• 理解度の高い古典的手法（例：PCA、LLE）と、tSNEやUMAPのような現代の引力・斥力ベースの次元削減（ARDR）手法との間のギャップを埋めること。
• ARDR埋め込みが元のデータ分布に戻って意味的に帰属づけられるような条件を形式的に定式化すること。
• tSNEおよびUMAPが特定のカーネルを用いて古典的手法の目的関数を最適化していると再解釈できるかを調査すること。
• tSNE/UMAPと同様の埋め込みを直接的かつ反復処理なしに計算できる道筋を提案することにより、理論的保証を得ること。

提案手法

• 古典的手法（PCA、LLE）を引力・斥力力の観点からARDR設定に統合する枠組みを形式化する。
• ランダム初期化されたデータに引力・斥力ダイナミクスを適用することで、低ランク近似が適用されてもPCA埋め込みを証明的に回復できることを示す。
• UMAPのカーネルを用いてLLEの目的関数を最小化すると、tSNEおよびUMAPの勾配と埋め込みが非常に類似した結果が得られることを示す。
• 古典的手法とARDR手法の埋め込み間の構造的類似性を測定するための指標 $ f^* $ を導入する。
• 予想1：UMAPのカーネルを埋め込み空間に適用した場合、UMAPの勾配ダイナミクスは平均的にLLEの勾配と整合的である。
• 予想2：tSNE/UMAPのグローバル最適解を $ (1\pm\varepsilon) $-最適コストで近似できる、直接的かつ反復処理なしのアルゴリズムが存在する。

実験結果

リサーチクエスチョン

• RQ1 PCA や LLE のような古典的手法が、引力・斥力ダイナミクスを用いて回復可能か。
• RQ2 埋め込み空間に UMAP のカーネルを適用した場合、tSNE や UMAP の勾配がどれほど古典的手法の勾配と一致するか。
• RQ3 tSNE や UMAP の埋め込みに類似した結果を保証的に得られる直接的かつ反復処理なしの方法が存在するか。
• RQ4 2次元空間の同じ領域にマッピングされる tSNE/UMAP 埋め込みにおいて、入力データのどの構造的性質が一貫して保持されるか。
• RQ5 どのような条件下で、古典的手法の解釈可能性が tSNE や UMAP のような ARDR 手法に移転可能か。

主な発見

• ランダム初期化されたデータに引力・斥力の力を適用することで、高速な低ランク近似が適用されてもPCA埋め込みを証明的に回復可能である。
• UMAPのカーネルを用いてLLEの目的関数を最小化すると、実験的にtSNEおよびUMAPの埋め込みと構造的に類似した結果が得られる。
• UMAPのカーネルを埋め込み空間に適用した場合、UMAPの勾配ダイナミクスは平均的にLLEの勾配と正の相関関係にあり、予想1を支持する。
• 指標 $ f^* $ を用いた本研究の枠組みにより、ARDRと古典的手法の埋め込み間の構造的類似性を定量化でき、形式的な比較が可能になった。
• 予想2は、$ (1\pm\varepsilon) $-最適コストを保証する直接的かつ反復処理なしのアルゴリズムが存在しうることを示唆しており、収束保証への道筋を示している。
• 結果から、tSNE/UMAP埋め込みの核心的構造は、特に二重カーネルを用いたLLEの目的関数に起因している可能性が示唆される。