[論文レビュー] Stochastic Neighbor Embedding separates well-separated clusters

Uri Shaham, Stefan Steinerberger|arXiv (Cornell University)|Feb 9, 2017

Face and Expression Recognition参考文献 10被引用数 15

ひとこと要約

この論文は、高次元空間から任意のユークリッド空間 ℝᵈ へのマッピングにおいて、Stochastic Neighbor Embedding (SNE) 及びその変種（t-SNE を含む）が、互いに良好に分離されたクラスタを明示的に分離することを証明している。主な結果は、最小分離条件 √(5 log n) の下で、最適な SNE埋め込みが、クラスタ数 n に依存しない O(log a) の範囲で品質スコア Q(ψ*) が有界であることを示している。

ABSTRACT

Stochastic Neighbor Embedding and its variants are widely used dimensionality reduction techniques -- despite their popularity, no theoretical results are known. We prove that the optimal SNE embedding of well-separated clusters from high dimensions to any Euclidean space R^d manages to successfully separate the clusters in a quantitative way. The result also applies to a larger family of methods including a variant of t-SNE.

研究の動機と目的

• SNE 及びその変種のクラスタ可視化における経験的成功の最初の理論的裏付けを提供すること。
• 入力データが良好に分離された局所的クラスタから成る場合に、SNE がクラスタ構造を明示的に保持できるかどうかを分析すること。
• クラスタ分離度と内部一貫性の観点から、SNE埋め込みの品質に関する定量的バインディングを確立すること。
• 一般カーネル関数を用いる SNE に類似した手法の広い族への理論的分析を拡張すること。
• クラスタ分離度がクラスタ数 n および出力次元 d にどのように依存するかを調査すること。

提案手法

• 品質指標 Q(ψ) を、ある点を中心とする球内に含まれる点の期待対数数（同じクラスタに属するランダムに選ばれた2番目の点を通る）として定義する。
• 任意の埋め込みに対して Q(ψ) ≥ log(a) − 1 である下界を確立し、ランダムネスのため完全なクラスタリングが達成できないことを示す。
• 最適な SNE埋め込み ψ* が、固定スケール σᵢ = 2⁻¹ᐟ² における SNE損失関数を最小化することを証明する。
• ガウスカーネルの単調性および 1/q(ψᵢ, ψⱼ) の比に対する境界を用いて、損失関数と品質指標 Q(ψ) を関連付ける。
• クラスタ内対の確率 p(xᵢ, xⱼ) ≥ 1/(6a) が分離条件のもとで成り立つことを利用して、SNE損失の下界を導出する。
• 損失の下界と最適損失の上界を組み合わせることで、Q(ψ*) ≤ 200 log(2a) を導出し、n や D に依存しないことを示す。

実験結果

リサーチクエスチョン

• RQ1 高次元空間における良好に分離されたクラスタを ℝᵈ に埋め込む際、SNE は明示的に分離できるか？
• RQ2 最小クラスタ間距離を満たす不連続で局所的なクラスタに対して、SNE埋め込みの理論的保証は何か？
• RQ3 クラスタ数 n が SNE のクラスタ分離能力にどのように影響するか？
• RQ4 一般カーネル関数を用いる SNE に類似した手法の理論的分析を、より広いクラスに拡張できるか？
• RQ5 埋め込み品質が出力次元 d およびクラスタサイズ a にどのように依存するか？

主な発見

• 最適な SNE埋め込み ψ* は Q(ψ*) ≤ 200 log(2a) を満たし、クラスタ構造がクラスタ数 n にかかわらず高い品質で保持されることを証明する。
• 分離条件 ‖x−y‖ ≥ √(5 log n) （x∈Bᵢ, y∈Bⱼ, i≠j）のもとで、Q(ψ*) ≤ 200 log(2a) は入力次元 D や出力次元 d に依存しない。
• n≫a≫1 の大規模な場合、境界は Q(ψ*) ≤ (2e² + ε) log(2a) ≤ 15 log(2a) に改善され、漸近的にタイトであることが示される。
• 出力次元 d が増加するにつれて、必要な分離条件は √((1 + 2/d) log n) に緩和され、Q(ψ*) ≲ₐ log a となり、定数は d に依存する。
• 正で単調に減少するカーネル関数 f を用いる一般の SNE 変種の族に対しても結果が拡張可能で、損失は O(na log a) に有界である。
• 任意の埋め込みに対して Q(ψ) ≥ log(a) − 1 である下界が成り立つため、クラスタ品質のベースラインが確立される。