[論文レビュー] Compressive Embedding and Visualization using Graphs

Johann Paratte, Nathanaël Perraudin+1 more|arXiv (Cornell University)|Feb 19, 2017

Complex Network Analysis Techniques参考文献 5被引用数 3

ひとこと要約

本稿では、任意の埋め込みアルゴリズムを小さなデータポイントのサブセットに適用し、類似度グラフを用いて結果を全データセットに拡散させることで、大規模データセットの可視化と埋め込みを高速化するスケーラブルなグラフベースのフレームワーク、圧縮埋め込み（Compressive Embedding, CE）を提案する。この手法は、O(log N)のサンプルのみを用いることで、正確な低次元表現を保証し、計算コストを顕著に削減しながらも、高い忠実度を維持する。

ABSTRACT

Visualizing high-dimensional data has been a focus in data analysis communities for decades, which has led to the design of many algorithms, some of which are now considered references (such as t-SNE for example). In our era of overwhelming data volumes, the scalability of such methods have become more and more important. In this work, we present a method which allows to apply any visualization or embedding algorithm on very large datasets by considering only a fraction of the data as input and then extending the information to all data points using a graph encoding its global similarity. We show that in most cases, using only $\mathcal{O}(\log(N))$ samples is sufficient to diffuse the information to all $N$ data points. In addition, we propose quantitative methods to measure the quality of embeddings and demonstrate the validity of our technique on both synthetic and real-world datasets.

研究の動機と目的

• 大規模データセットにおける従来の次元削減および可視化アルゴリズムのスケーラビリティのボトル neck を解決すること。
• グラフベースの情報拡散を用いて、わずかなデータポイントの部分集合のみを用いて正確な低次元埋め込みを実現すること。
• 埋め込みにおけるグローバル構造を保持するためのサンプリング要件について理論的保証を提供すること。
• グラフ信号処理ツールを用いて埋め込み品質を定量的に評価するための新しい指標を開発すること。
• 本手法の有効性を、合成データおよび実世界のデータセットにおいて、優れた実行時間性能を示して示すこと。

提案手法

• グローバルなデータ関係をエンコードするための類似度グラフを用いる。ここでノードはデータポイントを表し、エッジの重みはペアワイズ距離を反映する。
• 局在化されたグラフカーネルのエネルギー集中に基づいて、O(log N)の代表的データポイントを選択するグラフサンプリング方式を採用する。
• 局在化されたローパス・グラフフィルタを用いて、サンプルされたポイントからの情報を全グラフに拡散させ、すべてのノードに埋め込みを拡張する。
• 拡散が局所的およびグローバル構造を保つように、グラフ信号処理ツールを活用する。
• スペクトル的グラフフィルタリングを用いて、トランスductive学習により、サンプルされたノードからすべてのデータポイントへの埋め込みを拡張する。
• グラフカットと局在化フィルタに基づく、埋め込み忠実度を定量的に評価するための新規指標を導入する。

実験結果

リサーチクエスチョン

• RQ1 大規模データセットの正確な低次元埋め込みを、小さなデータポイントのサブセットのみを用いて生成できるか？
• RQ2 グラフベースの拡散を用いた場合、埋め込みにおけるグローバル構造を保持するために必要な最小サンプル数は何か？
• RQ3 グラフ理論的原則を用いて、可視化の品質をどのように定量的に測定できるか？
• RQ4 提案手法は、t-SNE や LargeVis などの最先端のアルゴリズムと同等またはそれ以上の性能を達成できるか、かつ非平方的にスケーリング可能か？
• RQ5 本手法はノイズや複雑なデータ構造に対してどれほど頑健であるか？

主な発見

• 本手法は、O(log N)のサンプルのみを用いることで、全データ処理手法と比較して顕著に計算コストを削減しながら、正確な埋め込みを達成する。
• 理論的分析により、局在化カーネルエネルギーに基づくサンプリングが、データ多様体の均一なカバーを保証することを示した。
• ローパス・フィルタを用いたグラフベースの拡散により、埋め込み空間における局所的およびグローバル構造が効果的に保持された。
• グラフカットと局在化フィルタに基づく提案された品質指標は、視覚的検査と良好に相関し、客観的な評価を可能にする。
• 合成データおよび実世界のデータセットにおける実験から、本手法が非平方的にスケーリングされ、t-SNE や LargeVis よりも優れた実行時間性能を示した一方で、競争力のある埋め込み品質を維持することがわかった。
• 本フレームワークは汎用的であり、既存の任意の埋め込みアルゴリズムに適用可能であるため、データ分析タスク全体に広く応用可能である。