[論文レビュー] Efficient Algorithms for t-distributed Stochastic Neighborhood Embedding

George C. Linderman, Manas Rachh+3 more|arXiv (Cornell University)|Dec 25, 2017

Stochastic Gradient Optimization Techniques参考文献 19被引用数 186

ひとこと要約

この論文は FIt-SNE を導入します。FFT 加速付きの補間ベースの t-SNE アプローチで、大規模な高次元データセットの高速でスケーラブルな埋め込みを実現し、さらにアウト・オブ・コアの PCA メソッド（oocPCA）とクラスタ分離を改善する late exaggeration を提供します。

ABSTRACT

t-distributed Stochastic Neighborhood Embedding (t-SNE) is a method for dimensionality reduction and visualization that has become widely popular in recent years. Efficient implementations of t-SNE are available, but they scale poorly to datasets with hundreds of thousands to millions of high dimensional data-points. We present Fast Fourier Transform-accelerated Interpolation-based t-SNE (FIt-SNE), which dramatically accelerates the computation of t-SNE. The most time-consuming step of t-SNE is a convolution that we accelerate by interpolating onto an equispaced grid and subsequently using the fast Fourier transform to perform the convolution. We also optimize the computation of input similarities in high dimensions using multi-threaded approximate nearest neighbors. We further present a modification to t-SNE called "late exaggeration," which allows for easier identification of clusters in t-SNE embeddings. Finally, for datasets that cannot be loaded into the memory, we present out-of-core randomized principal component analysis (oocPCA), so that the top principal components of a dataset can be computed without ever fully loading the matrix, hence allowing for t-SNE of large datasets to be computed on resource-limited machines.

研究の動機と目的

• 非常に大規模なデータセット（数十万〜百万点規模）に対する t-SNE の計算速度を向上させる。
• t-SNE における入力類似性と反発力の計算のための効率的な手法を開発する。
• late exaggeration および関連戦略を用いて t-SNE 埋め込みにおけるクラスタ分離を強化する。
• メモリに収まらないデータセットでも t-SNE を可能にするアウトオブコア PCA を提供する。
• 実用的な可視化ツール（1D/2D t-SNE ヒートマップ）とスケーラブルなソフトウェア実装を提供する。

提案手法

• 等間隔グリッドへ補間し、FFT を用いて得られた畳み込みを実行することで、反発力のFFT-加速付き補間ベース計算を行う。
• 低次補間（p=3）の分割多項式カーネル補間を用いて N体相互作用を近似する。
• 平行移動不変カーネル（K1 および K2）と Toeplitz 構造を利用してFFT加速を可能にする。
• 入力類似性の計算と引力計算を減らすための近似最近傍戦略（ANNOY）の使用。
• 後半の反復で late exaggeration（alpha>1）を導入し、クラスタ分離を改善する。
• 全データ行列をメモリに読み込まず、トップ成分を計算するアウトオブコアランダムPCA（oocPCA）を導入する。

実験結果

リサーチクエスチョン

• RQ1 t-SNE を百万点規模のデータセットに拡張しつつ、埋め込み品質を維持できるか。
• RQ2 Barnes-Hut を超えて反発力の計算を加速しつつ、精度を損なわずにできるか。
• RQ3 重要な局所幾何を失うことなく、近似最近傍を用いて入力類似性の計算をより高速化できるか。
• RQ4 late exaggeration の使用は t-SNE 埋め込みのクラスタ分離性と解釈性を向上させるか。
• RQ5 メモリに収まらないデータセットで t-SNE を可能にする省メモリパイプライン（アウトオブコア PCA）は存在するか。

主な発見

• FIt-SNE は大規模データセット（例: 100万点）において Barnes-Hut t-SNE と比較して1Dで最大15倍、2Dで最大30倍の速度向上を達成します。
• FFT-加速補間により反発力計算を二乗時間からほぼ線形時間に削減し、複雑さは O(N·p + (N_int·p) log(N_int·p))。
• 入力類似性に対する近似最近傍（ANNOY）の使用は、局所構造を保ちながらアトラクション計算を高速化する。
• 後の反復での late exaggeration（alpha>1）は、t-SNE 埋め込みのクラスタ分離性と解釈性を改善する。
• t-SNE ヒートマップは、1D 埋め込みで遺伝子発現情報をコンパクトなヒートマップ風の可視化で伝えることを可能にする。
• アウトオブコアPCA（oocPCA）の実装は、フルマトリクスをロードせずにトップ成分を計算することができ、メモリ制約の強い非常に大規模な行列で実証されている。