[論文レビュー] Visualizing and Exploring Dynamic High-Dimensional Datasets with LION-tSNE

Andrey Boytsov, François Fouquet+2 more|arXiv (Cornell University)|Aug 16, 2017

Neural Networks and Applications参考文献 7被引用数 13

ひとこと要約

本稿では、局所的補間と外れ値制御を用いて、t-SNEの可視化を動的に更新するLION-tSNEという手法を提案する。この手法により、クラスタ構造を保持しつつ、外れ値を正確に分離する、安定したリアルタイムの高次元データセットの可視化が可能となり、既存の補間および近似手法に比べて精度と外れ値検出性能で優れている。

ABSTRACT

T-distributed stochastic neighbor embedding (tSNE) is a popular and prize-winning approach for dimensionality reduction and visualizing high-dimensional data. However, tSNE is non-parametric: once visualization is built, tSNE is not designed to incorporate additional data into existing representation. It highly limits the applicability of tSNE to the scenarios where data are added or updated over time (like dashboards or series of data snapshots). In this paper we propose, analyze and evaluate LION-tSNE (Local Interpolation with Outlier coNtrol) - a novel approach for incorporating new data into tSNE representation. LION-tSNE is based on local interpolation in the vicinity of training data, outlier detection and a special outlier mapping algorithm. We show that LION-tSNE method is robust both to outliers and to new samples from existing clusters. We also discuss multiple possible improvements for special cases. We compare LION-tSNE to a comprehensive list of possible benchmark approaches that include multiple interpolation techniques, gradient descent for new data, and neural network approximation.

研究の動機と目的

• t-SNEが動的またはストリーミングデータを扱う際の制限、すなわち既存の可視化に新しいサンプルを簡単に追加できないという点を解決すること。
• 新しいデータポイントが導入された際にもクラスタ構造を保持し、視覚的整合性を維持する手法を開発すること。
• 既存の補間手法がしばしば対応できない外れ値に対する埋め込みにおける頑健性の向上。
• 勾配降下法、ニューラルネットワーク、およびさまざまな補間手法を含む包括的なベンチマーク手法と比較して、LION-tSNEの体系的評価を提供すること。
• ダッシュボード、時系列データ、進化するデータセットなどの応用分野におけるインタラクティブかつリアルタイムのデータ探索を可能にすること。

提案手法

• LION-tSNEは、学習済みデータポイントの周辺における局所的補間を用いて、新しいサンプルを既存のt-SNE埋め込み空間にマッピングする。
• 滑らかで局所的な影響を保証するため、半径を制限した逆距離加重（IDW）を適用し、半径rを超えた領域では正規化とゼロへの遷移関数を用いる。
• 外れ値検出は、学習セット内に近い近傍点が存在しない点を特定することで実施され、そのような点は埋め込み空間のランダムで孤立した位置にマッピングされる。
• クラスタ間を跨ぐ誤った補間を防ぐために、y空間における近傍点間の空間的距離をチェックする。距離がしきい値を超える場合、最も遠い近傍点は補間から除外される。
• 既存のt-SNE埋め込みを再利用することで、インクリメンタルな更新が可能であり、全再トレーニングを回避する。
• 変種では、外れ値の位置の微小な変化を追跡できるように、変化が定義された半径内であれば、前回の位置に近い場所に再配置する。

実験結果

リサーチクエスチョン

• RQ1 半径に基づく重み付けによる局所的補間は、既存のt-SNE可視化への新しいデータの埋め込みにおいて、安定的かつ正確な方法を提供できるか？
• RQ2 新しいデータポイントが既存のクラスタに属する場合、LION-tSNEはクラスタ構造をどの程度維持できるか？
• RQ3 埋め込み精度と外れ値分離の観点から、LION-tSNEは他の補間および近似手法をどの程度上回るか？
• RQ4 データポイントがクラスタ間を移動するような空間的クラスタ遷移が、埋め込みの安定性と正確性に与える影響は何か？
• RQ5 トレーニングポイントとの近接度を反映し、時間経過に伴う微小な位置変化を追跡できるように、外れ値処理をどのように改善できるか？

主な発見

• 評価においてLION-tSNEは、すべてのベンチマーク手法の中で最高の精度を達成し、主な精度指標において最良の代替手法と同率となった。
• 外れ値分離の観点で最も優れたパフォーマンスを示し、インライアクラスタと明確に分離していたが、他の手法では一貫して達成できなかった。
• 新しいデータポイントが既存のクラスタから追加されても、歪みを引き起こさずに安定的かつ意味のあるクラスタ構造を維持した。
• 空間的制約を設けた局所的補間の使用により、遠く離れた点の影響が顕著に低減され、頑健性と視覚的整合性が向上した。
• クラスタ間の移動に伴うデータ遷移に対しても、突然の埋め込み位置の変化が生じることで、誤った補間を防ぎ、アルゴリズムは耐性を示した。
• 将来の改善策として、高速近隣探索の導入が大規模データセットにおけるスケーラビリティを向上させると予想されるが、現行実装でもすでにリアルタイム更新が可能である。