[論文レビュー] Using Dimensionality Reduction to Optimize t-SNE

Rikhav Shah, Sandeep Silwal|arXiv (Cornell University)|Dec 2, 2019

Face and Expression Recognition参考文献 11被引用数 5

ひとこと要約

この論文では、埋め込みの前に入力次元を低次元化するためにランダム射影を適用することで、t-SNEの実行を高速化する手法を提案している。局所的なクラスタ構造を保持しつつ、実行時間を著しく短縮できる。主な結果として、元の次元の5%にまで次元を削減してもt-SNEの精度が維持され、クラスタの忠実性を損なわず、実行速度が桁違いに向上することが示された。

ABSTRACT

t-SNE is a popular tool for embedding multi-dimensional datasets into two or three dimensions. However, it has a large computational cost, especially when the input data has many dimensions. Many use t-SNE to embed the output of a neural network, which is generally of much lower dimension than the original data. This limits the use of t-SNE in unsupervised scenarios. We propose using extit{random} projections to embed high dimensional datasets into relatively few dimensions, and then using t-SNE to obtain a two dimensional embedding. We show that random projections preserve the desirable clustering achieved by t-SNE, while dramatically reducing the runtime of finding the embedding.

研究の動機と目的

• t-SNEの計算コストを低減すること。t-SNEは入力次元が増えると性能が著しく低下するため。
• ランダム射影による次元削減が、t-SNEの局所的クラスタ構造を保持する能力に与える影響を調査すること。
• ランダム射影による事前処理が、埋め込み品質に顕著な損失を伴わずに、より高速なt-SNE推論を可能にすることを実証すること。
• 精度と効率の観点から、t-SNEの事前処理としてのランダム射影とPCAの性能を比較すること。
• 教師なし学習パイプラインにおけるt-SNEに実用的で、実装に依存しない最適化戦略を提供すること。

提案手法

• t-SNEを実行する前に、高次元入力データを低次元部分空間に射影するためのランダム射影を適用する。
• ジョンソン–リンドンストラウスの補題を理論的根拠として用い、低次元空間でも対象間距離が近似的に保持されることを保証する。
• 埋め込み品質の評価には、類似ラベルの近隣点の割合を示す精度スコアを用いる。
• MNIST、CIFAR-10、Small NORB、Fashion-MNISTの複数のデータセットで、次元削減を施した場合と施さない場合のt-SNE性能を比較する。
• openTSNE（高速）とscikit-learn（遅速）の2つのt-SNE実装を用い、異なるバックエンドでも結果が一貫することを検証する。
• PCAとランダム射影の両方を事前処理として用い、それぞれの精度と実行時間への影響を比較する。

実験結果

リサーチクエスチョン

• RQ1 次元削減の前段階としてランダム射影を適用した場合、t-SNEが捉える局所的クラスタ構造が保持されるか？
• RQ2 t-SNEの性能が著しく低下する前に、入力次元をどの程度まで削減できるか？
• RQ3 ランダム射影による事前処理が、埋め込み品質に顕著な損失を伴わずに、t-SNEの実行時間を顕著に短縮できるか？
• RQ4 精度と必要な射影次元の観点から、PCAとランダム射影をt-SNEの事前処理として用いた場合、どちらが優れているか？
• RQ5 本手法は、異なるデータセットおよびt-SNE実装に対して一貫して有効性を示すか？

主な発見

• 元の次元の5%にまで次元を削減しても、t-SNEの精度はほぼ同一であり、精度スコア比は1に近づく。
• 次元削減を適用した場合、t-SNEの実行時間は最大90%まで短縮され、クラスタの忠実性の損失は最小限に抑えられる。
• 低次元領域においてはPCAがランダム射影を上回り、全テストデータセットでd=25でほぼ最適な性能を達成する。
• 次元削減の最適な範囲は、元の次元の5%～10%の間であり、この範囲では精度が維持され、同時に速度向上が最大限に達成される。
• 提案手法は実装に依存せず、openTSNEとscikit-learnの両方のt-SNE実装で一貫した性能向上を示す。
• 可視化結果から、MNISTのクラスタ構造が、元次元と低次元t-SNE出力の間で視覚的に区別できないことが確認された。