[論文レビュー] A more globally accurate dimensionality reduction method using triplets

Ehsan Amid, Manfred K. Warmuth|arXiv (Cornell University)|Mar 1, 2018

Face and Expression Recognition参考文献 14被引用数 8

ひとこと要約

この論文は、t-SNE や LargeVis が用いるペairワイズ類似度の代わりに三重項に基づく制約を用いることで、グローバル構造の保持を向上させる、新しい次元削減手法であるTriMapを提案する。TriMapは、多様なデータセットにおいてグローバルなデータ組織の捉え方、外れ値の特定、クラスタ間の滑らかな遷移を、従来の手法よりも優れた性能で実現しており、グローバル構造テストにおけるAUCスコアが著しく低くなることで、優れた性能が示されている。

ABSTRACT

We first show that the commonly used dimensionality reduction (DR) methods such as t-SNE and LargeVis poorly capture the global structure of the data in the low dimensional embedding. We show this via a number of tests for the DR methods that can be easily applied by any practitioner to the dataset at hand. Surprisingly enough, t-SNE performs the best w.r.t. the commonly used measures that reward the local neighborhood accuracy such as precision-recall while having the worst performance in our tests for global structure. We then contrast the performance of these two DR method against our new method called TriMap. The main idea behind TriMap is to capture higher orders of structure with triplet information (instead of pairwise information used by t-SNE and LargeVis), and to minimize a robust loss function for satisfying the chosen triplets. We provide compelling experimental evidence on large natural datasets for the clear advantage of the TriMap DR results. As LargeVis, TriMap scales linearly with the number of data points.

研究の動機と目的

• t-SNE や LargeVis といった既存の次元削減手法が、局所的近傍の保持には優れているものの、グローバルなデータ構造の保持に顕著な限界を示すという、深刻な問題に対処すること。
• ペアワイズ類似度を超えた高次関係を捉えることのできる、スケーラブルでグローバルに正確なDR手法を開発すること。
• 線形スケーラビリティを維持しながら、可視化の忠実度を向上させる、強固な三重項ベースの最適化フレームワークを導入すること。
• 実務家がDR結果におけるグローバル構造保持の信頼性ある評価が可能な、テスト可能な手法を提供すること。
• グローバル構造は、意味のあるデータ可視化において、局所的指標よりも情報量が多いということを示すこと。

提案手法

• TriMapは、3点の相対的距離を比較する三重項制約を用いて、t-SNE や LargeVis が用いるペアワイズ類似度を超えた高次関係をモデル化する。
• 三重項のロス関数を最小化し、安定性と一般化性能を向上させるために、減衰関数を用いて上限を設定する。
• 微分可能で、高次元空間における点の相対順序が低次元埋め込みに反映されるようにする。
• 最適化には、大規模データセットでも収束可能な、適応的学習率を用いたバッチ勾配降下法を採用する。
• 必要に応じて、初期の次元削減にPCAを活用し、効率的なk-NN計算にはBalltreeアルゴリズムを用いる。
• サブサンプリングと効率的な近隣探索を用いることで、LargeVisと同様に線形時間計算量を維持し、スケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ手法と比較して、三重項ベースの制約は、次元削減におけるグローバル構造保持を顕著に向上させることができるか？
• RQ2 t-SNE や LargeVis は、局所的近傍の正確性に優れているにもかかわらず、グローバル構造タスクではどのように動作するか？
• RQ3 強固な三重項ベースのロス関数は、ペアワイズ類似度ベースの手法よりも、意味のあるクラスタ組織や外れ値を効果的に明らかにできるか？
• RQ4 TriMapは、優れたグローバル可視化忠実度を達成しながらも、線形スケーラビリティを維持できるか？
• RQ5 自然なデータ変換に基づく視覚的・定量的テストは、DR手法のグローバル正確性を信頼性を持って評価できるか？

主な発見

• グローバル構造テストにおいて、TriMapはt-SNE（0.130）やLargeVis（0.062）よりも顕著に低いAUCスコア（例：フルMNISTで0.036）を達成しており、優れたグローバル構造保持を示している。
• てんかん発作認識データセットでは、TriMapは異なる生理的状態間の滑らかな遷移を示すが、t-SNE や LargeVis はこのようなグローバルパターンを保持できない。
• ファッショングループMNISTでは、TriMapは滑らかな遷移を保ったまま一貫したクラスクラスタを維持するが、t-SNE や LargeVis は不自然な断片的なサブクラスタを生成する。
• 38万件以上の歌詞データセットでは、TriMapは複数の階層的構造と外れ値を明らかにするが、t-SNE や LargeVis は複雑さを1つの密集したクラスタに隠してしまう。
• DBLP共同研究ネットワークでは、TriMapはLargeVisが外れ値から人工的な小さなクラスタを形成するのとは対照的に、より洗練され、一貫性のある構造を生成する。
• 局所的指標（例：正確率・再現率）がt-SNEに有利に働く場合でさえ、TriMapは全データセットで相対的なクラスタ位置の保持と遠く離れた外れ値の同定において、t-SNE や LargeVis を常に上回る。