[論文レビュー] An Analysis of the t-SNE Algorithm for Data Visualization

Sanjeev Arora, Wei Hu+1 more|arXiv (Cornell University)|Mar 5, 2018

Topological and Geometric Data Analysis参考文献 28被引用数 82

ひとこと要約

この論文は、2D埋め込みを介したデータ可視化の正式なフレームワークを提供し、よく分離された球状クラスタ仮定の下でt-SNEに対する証明可能な保証を示し、ガウス混合分布および対数凹分布への適用を含む。

ABSTRACT

A first line of attack in exploratory data analysis is data visualization, i.e., generating a 2-dimensional representation of data that makes clusters of similar points visually identifiable. Standard Johnson-Lindenstrauss dimensionality reduction does not produce data visualizations. The t-SNE heuristic of van der Maaten and Hinton, which is based on non-convex optimization, has become the de facto standard for visualization in a wide range of applications. This work gives a formal framework for the problem of data visualization - finding a 2-dimensional embedding of clusterable data that correctly separates individual clusters to make them visually identifiable. We then give a rigorous analysis of the performance of t-SNE under a natural, deterministic condition on the "ground-truth" clusters (similar to conditions assumed in earlier analyses of clustering) in the underlying data. These are the first provable guarantees on t-SNE for constructing good data visualizations. We show that our deterministic condition is satisfied by considerably general probabilistic generative models for clusterable data such as mixtures of well-separated log-concave distributions. Finally, we give theoretical evidence that t-SNE provably succeeds in partially recovering cluster structure even when the above deterministic condition is not met.

研究の動機と目的

• 可視化タスクを、真のクラスタが視覚的に分離可能になる2D埋め込みを見つけることとして formalize.
• t-SNE がクラスタ可能なデータの完全な可視化を証明的に生み出す決定論的条件を同定する。
• これらの条件がガウス混合分布および対数凹分布によって満たされることを示す。
• 条件が完全には満たされない場合でも、t-SNE がクラスタ構造を部分的に回復できるという証拠を提供する。

提案手法

• クラスタ可能なデータの2D埋め込みに対する可視化と完全可視化の正確な概念を定義する。
• γ-球状性およびγ-良分離データ条件を導入し、それらをクラスタ可視化の保証に関連づける。
• 初期過剰表現を伴う t-SNE を分析し、ペアワイズ類似度行列上のべき法に類似した更新ダイナミクスを導出する。
• 条件の下でクラスタセントロイドが分離したまま、クラスタ内点が縮小することを証明し、完全な可視化をもたらす。
• 仮説を等方ガウス分布と対数凹分布の混合に適用し、可視化を保証する分離スケールを導出する（例：ガウス分布では約d1/4）。

実験結果

リサーチクエスチョン

• RQ1 t-SNE による初期過剰表現を用いた場合、データのどの決定論的条件下で2Dのクラスタ完全可視化が得られるか？
• RQ2 これらの条件はガウス混合分布や対数凹分布といった一般的な生成モデルで成り立つか？
• RQ3 理想的条件が満たされない場合、t-SNE は少なくとも一部のクラスタを可視化できるか？
• RQ4 高次元での線形次元削減法と比べて、可視化保証はどの程度異なるか？

主な発見

• γ-球状かつ γ-良分離のクラスタブルデータにおいて、クラスタサイズが少なくとも0.1(n/k)で、k ≪ n1/5、初期過剰表現を用いたt-SNEは高確率で完全な可視化を出力する。
• 分析は、クラスタ内点が縮小し、クラスタ間のセントロイドが分離したままになることを示し、クラスタの視覚的な区別を保証する。
• 系は、i.i.d. サンプルがk個の等方ガウス分布の混合から得られ、平均が約d1/4離れている場合に完全な可視化をもたらすこと、同様に等方対数凹分布の混合でも分離 ~d5/12 が成立することを系として提示する。
• t-SNE の挙動は、ペアワイズアフィニティ行列に対するべき法に類似した更新で理論的保証を支えることを密接に示す。
• 決定論的分離条件が成り立たない場合でも、特定の同心ガウス混合の下で少なくとも1つのクラスタを回復する部分的可視化を提供できる。
• 結果は非等方的な対数凹混合にも拡張され、等方設定を超えたより広い適用性を意味する。