[論文レビュー] Perplexity-free Parametric t-SNE

Francesco Crecchi, Cyril de Bodt+3 more|arXiv (Cornell University)|Oct 3, 2020

Neural Networks and Applications参考文献 14被引用数 7

ひとこと要約

本稿では、高次元データから低次元空間へのマッピングを学習するための深層ニューラルネットワークを用いて、手動によるパーセプトリティチューニングの必要性を排除した、パーセプトリティフリーのパラメトリック t-SNE手法を提案する。複数スケールの近傍情報を取り入れることで、優れた近傍保存性を達成し、特にアウトオブサンプル拡張において、最良の単一パーセプトリティ値を用いたパラメトリック t-SNEの結果と同等またはそれを上回る性能を発揮する。

ABSTRACT

The t-distributed Stochastic Neighbor Embedding (t-SNE) algorithm is a ubiquitously employed dimensionality reduction (DR) method. Its non-parametric nature and impressive efficacy motivated its parametric extension. It is however bounded to a user-defined perplexity parameter, restricting its DR quality compared to recently developed multi-scale perplexity-free approaches. This paper hence proposes a multi-scale parametric t-SNE scheme, relieved from the perplexity tuning and with a deep neural network implementing the mapping. It produces reliable embeddings with out-of-sample extensions, competitive with the best perplexity adjustments in terms of neighborhood preservation on multiple data sets.

研究の動機と目的

• パラメトリック t-SNEにおけるパーセプトリティハイパーパramータチューニングへの依存を排除し、性能に制限を及える手動調整を不要にする。
• マルチスケール t-SNE をパラメトリックフレームワークに拡張し、効率的なアウトオブサンプル拡張と大規模データ処理を可能にする。
• 複数スケールのデータ類似度を同時にモデリングすることで、局所的およびグローバル構造の両方における近傍保存性を向上させる。
• 未知のデータポイントに一般化しやすく、拡張状況でも埋め込み品質を維持できる深層ニューラルネットワークベースのマッピングを開発する。
• 提案手法が、パーセプトリティチューニングを必要とせず、多様なデータセットにおいて標準的なパラメトリック t-SNEを上回ることを示す。

提案手法

• 単一パーセプトリティガウスカーネルの代わりに、さまざまなスケールのガウスカーネルの混合を用いて、局所的およびグローバル構造を捉えるマルチスケールパラメトリック t-SNEフレームワークを提案する。
• 高次元入力から低次元埋め込み空間への微分可能なマッピングを学習するための深層ニューラルネットワークを用い、アウトオブサンプル拡張を可能にする。
• 低次元空間で、1自由度のt分布を用いた対称的な類似度測度を採用し、クラッタリング問題を軽減する。
• 高次元および低次元の類似度分布間のKullback-Leibler発散を最小化する目的関数を勾配降下法で最適化する。
• 単一のパーセプトリティ値に依存しない、複数スケールにわたる類似度の集約を可能にする新しい損失関数を導入する。
• ネットワークアーキテクチャのハイパーパramータ（層数および各層のニューロン数）に対してグリッドサーチを実施し、訓練サブセットで学習した後、統合された訓練およびテストセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック t-SNE手法が、手動によるパーセプトリティチューニングを必要とせずに、ロバストな次元削減を達成できるか？
• RQ2 複数スケールの近傍モデリングは、パラメトリック t-SNEにおける局所的およびグローバル構造の保存性をどのように向上させるか？
• RQ3 標準的なパラメトリック t-SNEと比較して、提案手法のアウトオブサンプルデータポイントへの一般化能力はどの程度高いか？
• RQ4 パーセプトリティパラメータが存在しないことで、多様なデータ分布にわたってより安定的かつ信頼性の高い埋め込みが得られるか？
• RQ5 提案手法は、近傍保存性という観点から、最良の単一パーセプトリティ値を用いたパラメトリック t-SNEの変種と同等またはそれを上回る性能を発揮できるか？

主な発見

• 提案されたマルチスケールパラメトリック t-SNEは、全テストデータセットにおいて、訓練セット上での近傍保存性において、あらゆる単一パーセプトリティバリアントを上回る性能を発揮した。
• テストポイントを投影した拡張シナリオにおいても、最良の単一パーセプトリティバリアントと同等以上に性能を発揮し、優れた一般化能力を示した。
• R_NX曲線におけるAUC値が、あらゆる単一パーセプトリティバリアントよりも高く、特に近い近傍に重点を置いた、全近傍スケールにわたる優れた性能を示した。
• 不適切なパーセプトリティ値は性能を著しく低下させることを確認し、最適でないチューニングを回避するためのマルチスケールアプローチの必要性を裏付けた。
• 新しいデータポイントが追加されても、高品質な埋め込みを維持しており、効果的なアウトオブサンプル拡張が実現している。
• 小規模な近傍における訓練時と拡張時との性能差は、局所構造の一般化時により良い保存を実現するための正則化による改善の余地があることを示唆している。