[論文レビュー] From $t$-SNE to UMAP with contrastive learning

Sebastian Damrich, Jan Niklas Böhm+2 more|arXiv (Cornell University)|Jun 3, 2022

Data Visualization and Analytics被引用数 4

ひとこと要約

本稿は、対照学習を通じてt-SNEとUMAPの概念的関係を確立し、t-SNEがノイズ対比推定（NCE）を用いるのに対し、UMAPはネガティブサンプリング（NEG）を用いることを示している。これにより、より密なクラスタリングをもたらす歪みが生じる。著者らは、これらの手法の間を補間することで、局所的構造とグローバル構造の間で制御可能なトレードオフを実現する統一された埋め込みスケールを提案し、単一埋め込みのアーティファクトへの過剰解釈を回避する上でより頑健になることを示している。

ABSTRACT

Neighbor embedding methods $t$-SNE and UMAP are the de facto standard for visualizing high-dimensional datasets. Motivated from entirely different viewpoints, their loss functions appear to be unrelated. In practice, they yield strongly differing embeddings and can suggest conflicting interpretations of the same data. The fundamental reasons for this and, more generally, the exact relationship between $t$-SNE and UMAP have remained unclear. In this work, we uncover their conceptual connection via a new insight into contrastive learning methods. Noise-contrastive estimation can be used to optimize $t$-SNE, while UMAP relies on negative sampling, another contrastive method. We find the precise relationship between these two contrastive methods and provide a mathematical characterization of the distortion introduced by negative sampling. Visually, this distortion results in UMAP generating more compact embeddings with tighter clusters compared to $t$-SNE. We exploit this new conceptual connection to propose and implement a generalization of negative sampling, allowing us to interpolate between (and even extrapolate beyond) $t$-SNE and UMAP and their respective embeddings. Moving along this spectrum of embeddings leads to a trade-off between discrete / local and continuous / global structures, mitigating the risk of over-interpreting ostensible features of any single embedding. We provide a PyTorch implementation.

研究の動機と目的

• t-SNEとUMAPの間の概念的関係を明確化すること。両者は次元削減に共通して用いられているが、長年にわたり関連がないと見なされてきた。
• t-SNEとUMAPの間の構造的差異の数学的起源を、それらの背後にある対照学習手法（NCEとNEG）を分析することで特定すること。
• t-SNEとUMAPの間を補間できる一般化された埋め込みフレームワークを開発し、局所的構造とグローバル構造の間の制御可能な探索を可能にすること。
• UMAPにおける不安定性を是正するため、ネガティブサンプリングによって生じる歪みを同定し、是正すること。
• 対照的近傍埋め込みを対象とした統一的でオープンソースのPyTorch実装を提供すること。

提案手法

• t-SNEをノイズ対比推定（NCE）として再定式化し、UMAPのネガティブサンプリング（NEG）アプローチと直接比較可能にする。
• NCEとNEGの正確な数学的関係を導出し、NEGが類似度のランドスケープに体系的な歪みをもたらすことを示す。
• 可変の正規化定数 $\bar{Z}$ を用いた一般化された埋め込みフレームワークを導入し、t-SNE（$\bar{Z} = Z^{t\text{-SNE}}$）とUMAP（$\bar{Z} = |X|/m$）の間を補間する。
• t-SNEとUMAPの両方を一般化するサンプリングベースの最適化手法を実装し、埋め込みスケール全体にわたる滑らかな遷移を可能にする。
• 新フレームワークに、特に $\bar{Z}$ 値が小さい場合の学習安定化のため、早期の誇張戦略に類似した手法を適用する。
• 非パラメトリックおよびパラメトリックな両バージョンをサポートするPyTorchベースの実装を提供し、NC-およびInfoNC-t-SNEを含む。

実験結果

リサーチクエスチョン

• RQ1 t-SNEとUMAPの根本的な概念的関係は何か。両者は損失関数や視覚的出力が著しく異なるが。
• RQ2 UMAPにおけるネガティブサンプリングは、t-SNEにおけるノイズ対比推定と数学的にどのように異なるのか。その結果生じる歪みは何か。
• RQ3 t-SNEとUMAPの間を補間する連続的な埋め込みスケールを構築可能か。これにより、局所的構造とグローバル構造の制御可能な探索が可能になるか。
• RQ4 提案されたフレームワークは、UMAPにおける不安定性、特にクラスタ分離性と密な構造の問題を緩和するか。
• RQ5 既存の対照的手法と比較して、新しいフレームワークは近傍構造とグローバルトポロジーの両方をどの程度良好に保持するか。

主な発見

• UMAPにおけるネガティブサンプリングによって生じる歪みは、t-SNEがノイズ対比推定を用いるのと比較して、より密で分離度の高いクラスタを生じさせることを示している。
• $\bar{Z} = Z^{t\text{-SNE}}$ の場合、一般化された埋め込みはt-SNEに非常に近似的に一致する。$\bar{Z} = |X|/m$ の場合、UMAPの挙動と一致する。
• NC-およびInfoNC-t-SNEの実装は、標準t-SNEと比較して安定性が向上し、早期の誇張に依存する必要が減少している。
• 最適化時間を延長することでNeg-t-SNEの埋め込み品質が著しく向上し、Kuzushiji-49データセットで10,000エポックの間、KLダイバージェンスが5.52から4.65に低下した。
• NC-およびInfoNC-t-SNEにおけるノイズサンプル数（$m$）の増加は、スピアマン相関の劣化を伴わずにk-NNリコールを向上させ、局所構造のより良好な保存を示している。
• 提案された埋め込みスケールにより、ユーザーは離散的・局所的構造と連続的・グローバル構造の間のトレードオフを体系的かつ制御可能に探索でき、個々の可視化への過剰解釈のリスクを低減できる。