[論文レビュー] GRASPEL: Graph Spectral Learning at Scale

Yongyu Wang, Zhiqiang Zhao+1 more|arXiv (Cornell University)|Nov 23, 2019

Advanced Graph Neural Networks参考文献 43被引用数 6

ひとこと要約

GRASPELは、ほぼ線形時間のスペクトルスパース化および粗化技術を用いて、反復的にスペクトル的に重要な辺を同定・追加することで、超スパースでスペクトル的に安定したグラフを構築するスケーラブルなスペクトル的グラフ学習手法である。この手法は、グラフ構築において2,000倍以上の高速化と、ベンチマークデータセットで14–18%の精度向上を達成し、スペクトルクラスタリングおよびグラフ回復の分野で最先端の性能を発揮する。

ABSTRACT

Learning meaningful graphs from data plays important roles in many data mining and machine learning tasks, such as data representation and analysis, dimension reduction, data clustering, and visualization, etc. In this work, for the first time, we present a highly-scalable spectral approach (GRASPEL) for learning large graphs from data. By limiting the precision matrix to be a graph Laplacian, our approach aims to estimate ultra-sparse (tree-like) weighted undirected graphs and shows a clear connection with the prior graphical Lasso method. By interleaving the latest high-performance nearly-linear time spectral methods for graph sparsification, coarsening and embedding, ultra-sparse yet spectrally-robust graphs can be learned by identifying and including the most spectrally-critical edges into the graph. Compared with prior state-of-the-art graph learning approaches, GRASPEL is more scalable and allows substantially improving computing efficiency and solution quality of a variety of data mining and machine learning applications, such as spectral clustering (SC), and t-Distributed Stochastic Neighbor Embedding (t-SNE). {For example, when comparing with graphs constructed using existing methods, GRASPEL achieved the best spectral clustering efficiency and accuracy.

研究の動機と目的

• 各反復でO(N²)の複雑さを示すため、大規模データセットで困難を抱える従来のグラフ学習手法のスケーラビリティの限界を克服すること。
• 計算効率を維持しつつ、入力データのスペクトル的性質を保持する超スパースなグラフ構造を備えたグラフ学習フレームワークの開発。
• スペクトル埋め込みが元のデータポイントの類似度を符号化するように、高品質なスペクトルクラスタリングおよびグラフ回復を可能にするグラフの学習。
• 大規模スケールでのグラフの密度化と最適化を現実可能にするために、最近のほぼ線形時間のスペクトル的グラフアルゴリズムを活用すること。
• 高次元データに対して、従来のk-NNやグラフィカル・ラassoに基づくグラフ学習手法の代替として、強固でスケーラブルな代替手法を提供すること。

提案手法

• 精度行列をグラフラプラシアンに類似した行列に制約した、グラフィカル・ラassoに類似した最適化としてグラフ学習を定式化する。
• スペクトル的安定性を二次形式制約により保証しつつ、最初のいくつかのラプラシアン固有値とエッジ上の信号の滑らかさを最大化する。
• ほぼ線形時間のスペクトル的スパース化および粗化を用いて、グラフに含めるべき最もスペクトル的に重要なエッジを同定する。
• スペクトル埋め込みとグラフ精錬ステップを交互に実行することで、反復的にスペクトル的安定性と信号の滑らかさを向上させる。
• 初期段階で超スパースなグラフ（例：uNNグラフ）から出発し、スペクトル的影響に基づいて段階的に密度を高め、スペクトルが安定するまで繰り返す。
• 得られたグラフのスペクトル埋め込み距離が、元のデータポイント間の内在的類似度を反映していることを保証する。

実験結果

リサーチクエスチョン

• RQ1 大規模データセットにスケーラブルに拡張可能であり、下流タスクに不可欠なスペクトル的性質を保持するグラフ学習手法を設計できるか？
• RQ2 スペクトル的スパース化および粗化技術をグラフ学習パイプラインに統合することで、グラフの安定性と計算効率を維持できるか？
• RQ3 スペクトル基準に基づいて学習された超スパースグラフは、標準のk-NNや密グラフと比較して、スペクトルクラスタリングおよびグラフ回復の精度をどの程度向上できるか？
• RQ4 スペクトル的影響に基づく反復的密度化により、均一なk-NNグラフと比較して、より強固でバランスの取れたクラスタリングカットが得られるか？
• RQ5 提案手法は、解の品質を損なうことなく、グラフ構築および固有値分解において顕著な高速化を達成できるか？

主な発見

• スペクトルクラスタリングにおいて、USPSデータセットでは2番目に優れた手法と比較して18%以上の精度向上を達成し、COIL20では13%以上の向上を示した。
• MNISTデータセットでは、標準のk-NNグラフと比較して14%以上の精度向上を達成し、グラフ構築時間を6倍以上短縮した。
• MNISTにおけるGRASPELで学習されたグラフを用いたスペクトルクラスタリングは3秒未塔で完了し、標準のk-NNアプローチ（6,0００秒以上）と比較して2,000倍の高速化を達成した。
• MNISTのサブセットでは、スペクトルクラスタリングの正準相関係数（NMI）が0.012から0.863に向上し、全USPSデータセットでは0.612から0.884に向上した。
• MNISTのサブセットではクラスタリング精度（ACC）が16.1%から90.0%に、USPSでは40.4%から90.6%に上昇し、顕著な性能向上を示した。
• GRASPELで学習されたグラフは、スペクトル的設計のおかげで入力の摂動に対して強固であることが示され、最近の敵対的例に対するスペクトル的安定性に関する知見とも整合した。