[論文レビュー] Low-dimensional Data Embedding via Robust Ranking

Ehsan Amid, Nikos Vlassis+1 more|arXiv (Cornell University)|Nov 30, 2016

Bayesian Modeling and Causal Inference参考文献 13被引用数 4

ひとこと要約

本稿では、三つ組みベースの類似性制約を統合順序付け問題として定式化する、頑健な低次元埋め込み手法t-ETEを提案する。t-指数分布族を用いた頑健な損失関数を適用することで、t-SNE や t-STE よりも優れたノイズ耐性と局所構造の保持を達成するとともに、最適化においても高速かつ安定している。

ABSTRACT

We describe a new method called t-ETE for finding a low-dimensional embedding of a set of objects in Euclidean space. We formulate the embedding problem as a joint ranking problem over a set of triplets, where each triplet captures the relative similarities between three objects in the set. By exploiting recent advances in robust ranking, t-ETE produces high-quality embeddings even in the presence of a significant amount of noise and better preserves local scale than known methods, such as t-STE and t-SNE. In particular, our method produces significantly better results than t-SNE on signature datasets while also being faster to compute.

研究の動機と目的

• 人為的に提供された類似性三つ組みに不整合やノイズが存在する状況下で、t-STE や t-SNE といった既存の三つ組み埋め込み手法の低い頑健性を是正すること。
• 三つ組み制約に高いノイズが存在する状況下でも、局所的およびグローバルなデータ構造を効果的に保持する手法の開発。
• t-SNE がモーメンタムやイ早縮小といった複雑な最適化ヒューリスティクスに依存しているのに対し、最適化の安定性と収束速度を向上させること。
• 高次元データから情報量の多い三つ組みをサンプリングし、重み付き三つ組み重要度を用いて低次元空間に埋め込むことで、効果的な次元削減を実現すること。
• 小さな、丁寧に選択された三つ組みサブセットが、高品質な可視化およびクラスタリングに十分なデータ構造を保持できることを実証すること。

提案手法

• 各三つ組み (i,j,k) が、オブジェクト j がオブジェクト k よりもオブジェクト i に近い順位に位置するべきであることを示す、統合順序付けタスクとして三つ組み埋め込み問題を定式化する。
• 埋め込み空間内の相対的距離に基づく三つ組み損失関数を定義する。初期には無限大に発散するが、一般化対数関数を用いて変換することで損失を制限し、頑健性を確保する。
• t-指数分布族を損失のモデルとして用い、t-STE が持つ重い尾部の性質を継承することで、外れ値の処理と局所構造の保持に優れる。
• 各三つ組みにその重要度に基づく非負の重みを割り当てることで、次元削減に適した効率的なサブセットサンプリングが可能な、重み付きバージョンの手法を導入する。
• 標準的な勾配降下法を用いて埋め込みを最適化し、t-SNE が使用するモーメンタムやイ早縮小といった複雑な最適化技術を必要とせず、より高速かつ安定した収束を達成する。
• 高次元データから1点あたり m=20（COIL-20 では m=10）の三つ組みをサンプリングし、順序付け制約を満たす2次元埋め込みを学習することで、次元削減に応用する。

実験結果

リサーチクエスチョン

• RQ1 三つ組み埋め込みの順序付けベースのアプローチは、t-STE や t-SNE と比較して、ノイズに対してより高い頑健性を達成できるか？
• RQ2 小さな重み付きサブセットの三つ組みは、高次元データのグローバルおよび局所的構造を、低次元埋め込みにおいてどの程度正確に保持できるか？
• RQ3 t-指数分布族に基づく頑健な損失関数は、標準的手法と比較して収束性および安定性を向上させるか？
• RQ4 t-ETE は、スイスロールなどの多様体構造や、MNIST や USPS などのクラスタ構造を含む複雑なデータ構造を、ノイズのある条件下で効果的に可視化できるか？
• RQ5 t-ETE は、可視化品質および計算効率において t-SNE を上回りつつ、最近傍探索の正確性を維持または向上させられるか？

主な発見

• 次元数が増加しても一般化誤差および最近傍誤差の両方で高い性能を維持しており、強力なスケーラビリティと構造保持性を示している。
• 逆転三つ組みが20％存在するノイズの多いデータでも、t-ETE の性能はほとんど変化せず、t-STE は意味のある埋め込みを生成できなくなる。これは、優れた頑健性を示している。
• Food データセットでは、t-ETE が野菜、アイスクリーム/デザート、パン/クッキーの3つの明確なクラスタを特定しているのに対し、t-STE は明確なクラスタ構造を示さない。
• Music データセットでは、t-ETE の最近傍誤差は 0.52 であり、t-STE の 0.63 よりも低い。これは、近傍構造の保持が優れていることを示している。
• 次元削減タスクにおいて、t-ETE はスイスロールやスフィアのような多様体構造、USPS や COIL-20 のようなクラスタ構造を、t-SNE が多様体を引き裂くかクラスタを分割するのとは対照的に、より正確に保持している。
• t-ETE は単純な勾配降下法を用いてより高速かつ安定して収束し、t-SNE が使用するような複雑な最適化技術（モーメンタムやイ早縮小）の必要がない。