[論文レビュー] Automatic Selection of t-SNE Perplexity

Yanshuai Cao, Luyu Wang|arXiv (Cornell University)|Aug 10, 2017

Evolutionary Algorithms and Applications参考文献 1被引用数 37

ひとこと要約

本論文は、情報理論的原則に基づく新しい目的関数 $2\text{KL}(P||Q) + \log(n)\frac{\text{Perp}}{n}$ を用いて、t-SNE の perplexity ハイパーパrameter を自動選択する手法を提案する。この目的関数は、人間の専門家による好みの選択による検証を経ており、手動によるチューニングを排除し、デフォルト設定よりも優れた性能を達成する。

ABSTRACT

t-Distributed Stochastic Neighbor Embedding (t-SNE) is one of the most widely used dimensionality reduction methods for data visualization, but it has a perplexity hyperparameter that requires manual selection. In practice, proper tuning of t-SNE perplexity requires users to understand the inner working of the method as well as to have hands-on experience. We propose a model selection objective for t-SNE perplexity that requires negligible extra computation beyond that of the t-SNE itself. We empirically validate that the perplexity settings found by our approach are consistent with preferences elicited from human experts across a number of datasets. The similarities of our approach to Bayesian information criteria (BIC) and minimum description length (MDL) are also analyzed.

研究の動機と目的

• t-SNE の perplexity を手動で経験依存的にチューニングするのを排除し、自動選択を実現すること。
• 専門家の判断を反映した最適な perplexity 設定を示すモデル選択の目的関数を開発すること。
• 人間の専門家による対比較の好みの抽出を用いて、提案された目的関数を検証すること。
• 本手法が、数字、coil20、顔画像など多様なデータセットに一般化できることを示すこと。

提案手法

• 情報理論的原則に基づいて導出された新しい目的関数：$S(\text{Perp}) = 2\text{KL}(P||Q) + \log(n)\frac{\text{Perp}}{n}$ を提案する。
• 8名の専門家による対比較の好み抽出を用いて、良好な perplexity 設定に関するラベル付き判断を収集する。
• 二値ランク付き尤度を用いたガウス過程を用いて、専門家の不確実性をモデル化し、最適な perplexity を推定する。
• 目的関数のコアとして、高次元と低次元の分布間の KL 散発を用いる。
• 再構成の忠実度と複雑さのバランスをとるよう目的関数をキャリブレーションし、BIC に類似したが複雑さのチューニングが逆転した構造とする。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の目的関数は、人為的介入なしに t-SNE の perplexity を信頼性高く選択できるか？
• RQ2 提案された目的関数は、専門家による検証済みの好みとどの程度整合性を持つのか？
• RQ3 本手法は、構造が異なる多様なデータセットに一般化可能か？
• RQ4 なぜ目的関数 $2\text{KL}(P||Q) + \log(n)\frac{\text{Perp}}{n}$ は、標準的な KL 最小化よりも優れているのか？

主な発見

• 提案された目的関数 $S(\text{Perp}) = 2\text{KL}(P||Q) + \log(n)\frac{\text{Perp}}{n}$ は、専門家の好みに適合する点でデフォルト設定を上回る性能を示した。
• 人間の専門家の好みデータは、複数のデータセットで一貫したパターンを示し、本手法の一般化可能性を裏付けた。
• 本手法により、perplexity 選択における視覚的検査や専門家の経験依存性が著しく低減された。
• 目的関数は、モデルの適合度と複雑さのバランスを効果的にとることができ、BIC に類似した構造を示したが、複雑さのチューニングが逆転していた。