[論文レビュー] Large Scale Graph Learning from Smooth Signals

Vassilis Kalofolias, Nathanaël Perraudin|arXiv (Cornell University)|Oct 16, 2017

Advanced Graph Neural Networks参考文献 37被引用数 40

ひとこと要約

本稿では、Kalofolias (2016) の高精度なグラフ学習モデルと近似的最近傍 (A-NN) グラフを組み合わせることで、O(n log n) の計算コストで最先端の品質を達成するスケーラブルなグラフ学習手法を提案する。所望のエッジ密度に基づいてモデルのパラメータを自動で選択でき、大規模な重み付きグラフの効率的学習が可能である—例えば、デスクトップで MATLAB を使用して 100 万ノードのグラフを 16 分で学習した。

ABSTRACT

Graphs are a prevalent tool in data science, as they model the inherent structure of the data. They have been used successfully in unsupervised and semi-supervised learning. Typically they are constructed either by connecting nearest samples, or by learning them from data, solving an optimization problem. While graph learning does achieve a better quality, it also comes with a higher computational cost. In particular, the current state-of-the-art model cost is $\mathcal{O}(n^2)$ for $n$ samples. In this paper, we show how to scale it, obtaining an approximation with leading cost of $\mathcal{O}(n\log(n))$, with quality that approaches the exact graph learning model. Our algorithm uses known approximate nearest neighbor techniques to reduce the number of variables, and automatically selects the correct parameters of the model, requiring a single intuitive input: the desired edge density.

研究の動機と目的

• 大規模データに対して不適切な O(n²) の計算コストを有する最先端のグラフ学習手法の高コスト問題に対処する。
• k-NN や A-NN グラフが速度を優先して構造的品質を犠牲にするという限界を、高品質なグラフ学習フレームワークと統合することで克服する。
• グリッドサーチを必要としない、単一の直感的な入力（所望のエッジ密度）に基づくグラフスパarsityの自動パラメータ選択を可能にする。
• 下流の機械学習タスクにおける多様体に類似した構造と高品質な滑らかさ正則化を維持するスケーラブルなグラフ学習を実現する。

提案手法

• 近似的最近傍 (A-NN) 技術を活用して候補エッジの数を著しく削減し、最適化変数を O(n²) から O(n log n) に制限する。
• Kalofolias (2016) が提唱した最先端のグラフ学習モデルを採用し、グラフ上での滑らかな信号を学習するためにディリクレエネルギー tr(XᵀLX) を最小化する。
• A-NN グラフを最適化のスパース化されたサポートとして統合し、全隣接行列の代わりに使用することで計算複雑度を低減する。
• 所望のエッジ密度 (k) を直接モデルの正則化パラメータにマッピングする自動パラメータ選択スキームを導入し、複数の正則化パラメータに対するグリッドサーチの必要性を排除する。
• 前向き後ろ向き分割法を用いて最適化問題を効率的に解き、1 イテレーションあたりのコストが O(kn) に支配されるようにする。
• 高次元入力空間における計算オーバーヘッドをさらに削減するために、ランダム射影（d=300 から d=20 に）を適用する。

実験結果

リサーチクエスチョン

• RQ1 100 万ノードのような大規模データセットに対しても、最先端のモデルと同等の品質を維持しながらグラフ学習をスケーリングできるか？
• RQ2 A-NN グラフと高精度なグラフ学習を組み合わせることで、k-NN や A-NN 単体よりも優れた構造的忠実性が得られるか？
• RQ3 自動パラメータチューニングにより、グラフ学習における時間のかかるグリッドサーチの必要性を排除できるか？
• RQ4 提案手法の計算コストは、データセットサイズおよび所望のスパarsity に対してどのようにスケーリングされるか？
• RQ5 学習されたグラフは、標準的な k-NN や A-NN グラフよりも多様体に類似した構造をよりよく保持するか？

主な発見

• 提案手法は、A-NN と同等の O(n log n) の計算コストを達成しながら、O(n²) の最先端モデルと同等に高いグラフ品質を維持する。
• 100 万ノードのグラフが、デスクトップコンピュータ上で単純な MATLAB 実装で 16 分で学習可能であり、実用的なスケーラビリティを示している。
• 2 ホップの部分グラフから明らかになったように、学習されたグラフは多様体に類似した構造を示しており、小世界ネットワークに似た k-NN や A-NN グラフを上回る。
• 所望のエッジ密度に基づいてモデルパラメータを自動選択でき、複数の正則化パラメータに対するグリッドサーチの必要性がなくなる。
• 半教師あり学習および多様体回復タスクにおいて、ベースライン手法と比較して優れた性能を示し、より意味のあるエッジ重みが得られている。
• 実験的に、許容されるエッジ数に対して線形スケーラビリティが確認され、大規模データに対する効率性が裏付けられている。