[論文レビュー] Stochastic Neighbor Embedding with Gaussian and Student-t Distributions: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Sep 21, 2020

Face and Expression Recognition被引用数 5

ひとこと要約

このチュートリアルおよびサーベイ論文は、確率的近傍埋め込み（SNE）、対称的SNE、t-SNE（コーシー分布を用いたSNE）、および一般化された自由度を有するt-SNEについて包括的な概説を提供しており、次元削減および可視化のための確率的フレームワークを説明している。SNEは入力空間および埋め込み空間の両方でガウス分布を用いるが、t-SNEはクラスタの密集問題を軽減するために、より重い尾を持つ分布としてスルム・t分布を採用している。また、out-of-sample拡張および加速技術（ランドマークベース手法やランダムウォークを含む）についても提示している。

ABSTRACT

Stochastic Neighbor Embedding (SNE) is a manifold learning and dimensionality reduction method with a probabilistic approach. In SNE, every point is consider to be the neighbor of all other points with some probability and this probability is tried to be preserved in the embedding space. SNE considers Gaussian distribution for the probability in both the input and embedding spaces. However, t-SNE uses the Student-t and Gaussian distributions in these spaces, respectively. In this tutorial and survey paper, we explain SNE, symmetric SNE, t-SNE (or Cauchy-SNE), and t-SNE with general degrees of freedom. We also cover the out-of-sample extension and acceleration for these methods.

研究の動機と目的

• 確率的近傍埋め込み（SNE）およびその変種（t-SNE、対称的SNEを含む）について、包括的なチュートリアルおよびサーベイを提供すること。
• SNEの確率的フレームワークを説明し、高次元空間における近傍確率が低次元埋め込みに保たれることを示すこと。
• SNEにおける密集問題を特定し、t-SNEが重尾分布を用いることでクラスタの分離を改善し、可視化品質を向上させることを示すこと。
• 大規模データ向けの実用的拡張（out-of-sample埋め込みおよび加速技術）をカバーすること。
• 最近の進展および関連手法（パラメトリックt-SNE、LargeVis、UMAPなど）を要約し、文脈的および比較的視点から解説すること。

提案手法

• 入力空間における近傍確率をモデル化するためにガウス分布を用い、局所構造を保つためにバイナリサーチにより点ごとの分散を決定する。
• 未正規化されたガウス確率を適切な条件付き確率に変換するためのソフトマックス正規化のテクニックを採用し、合計が1になる制約を満たす。
• 埋め込み空間におけるガウス分布をスルム・t分布（コーシー分布）に置き換えることでt-SNEを導入し、より重い尾を持つ分布を実現し、密集問題を軽減する。
• 確率行列を対称化することで対称的SNEを適用し、最適化の安定性および可視化品質を向上させる。
• ランドマークベースの加速技術を用いる：データのサブセット（ランドマーク）でSNE/t-SNEを学習し、その後、カーネルまたは最適化ベースの拡張によりout-of-sampleポイントを埋め込む。
• k-NNグラフにおける遷移確率を推定するためにランダムウォーク近似を適用し、全ペアワイズ距離計算を置き換えることで計算コストを著しく削減しつつ、近傍構造を保持する。

実験結果

リサーチクエスチョン

• RQ1 SNEは、入力空間および埋め込み空間の両方で確率的モデリングを用いて、どのように局所的近傍関係を保っているのか？
• RQ2 標準的SNEの限界、特に密集問題とは何か。t-SNEは重尾分布を用いることで、それらの問題をどのように解消しているのか？
• RQ3 SNEまたはt-SNEをデータのサブセットで学習した後、どのようにしてout-of-sampleデータポイントを効率的に埋め込むことができるか？
• RQ4 ランダムウォークやランドマークベース手法を含む、大規模データセット向けのスケーラビリティを向上させる加速技術は何か？
• RQ5 最近の変種（パラメトリックt-SNE、LargeVis、UMAP）は、元のt-SNEフレームワークとどのように関係し、あるいはそれをどのように改善しているのか？

主な発見

• t-SNEは、スルム・t分布のより重い尾のおかげで、標準的SNEに比べて高次元データの可視化において顕著に優れている。これは、密集問題が軽減されるからである。
• 対称的SNEでは確率行列を対称化することで、非対称SNEよりもより安定的かつ解釈可能な埋め込みが得られる。
• ランドマークベース手法により、サブセットで学習し、新しいポイントにカーネルまたは最適化ベースのマッピングを適用することで、効率的なout-of-sample拡張が可能になる。
• ランダムウォーク近似により、t-SNEの計算複雑度が低下し、全ペアワイズ距離計算をグラフベースのサンプリングに置き換えることで、大規模データセットでも高速処理が可能になる。
• 最近の改良、例えば密度を考慮したdense t-SNEは、半径に基づく分散調整により局所密度情報を組み込み、密集領域でのクラスタ分離を向上させる。
• t-SNEのパラメトリックおよびカーネルベースの拡張により、エンドツーエンド学習とスケーラブルな推論が可能となり、大規模および教師あり学習のシナリオへの適用が可能になる。