[論文レビュー] Nearly-Linear Time Spectral Graph Reduction for Scalable Graph Partitioning and Data Visualization

Zhiqiang Zhao, Yongyu Wang+1 more|arXiv (Cornell University)|Dec 21, 2018

Image and Video Quality Assessment参考文献 32被引用数 10

ひとこと要約

この論文は、スペクトル保持型ノード集約と制約付き確率的勾配降下法を用いた反復的スペクトルスパース化を組み合わせることで、大規模な無向グラフの主要なスペクトル的性質を保持するほぼ線形時間のスペクトル的グラフ圧縮フレームワークを提案する。この手法により、coPapersCiteseer（0.43Mノード、16Mエッジ）のようなグラフが約16秒で13Kノード、17Kエッジに圧縮され、スペクトル的分割法では最大1100倍の高速化、t-SNE可視化では60倍の高速化が達成され、同時に高い解の品質を維持する。

ABSTRACT

This paper proposes a scalable algorithmic framework for spectral reduction of large undirected graphs. The proposed method allows computing much smaller graphs while preserving the key spectral (structural) properties of the original graph. Our framework is built upon the following two key components: a spectrum-preserving node aggregation (reduction) scheme, as well as a spectral graph sparsification framework with iterative edge weight scaling. We show that the resulting spectrally-reduced graphs can robustly preserve the first few nontrivial eigenvalues and eigenvectors of the original graph Laplacian. In addition, the spectral graph reduction method has been leveraged to develop much faster algorithms for multilevel spectral graph partitioning as well as t-distributed Stochastic Neighbor Embedding (t-SNE) of large data sets. We conducted extensive experiments using a variety of large graphs and data sets, and obtained very promising results. For instance, we are able to reduce the "coPapersCiteseer" graph with 0.43 million nodes and 16 million edges to a much smaller graph with only 13K (32X fewer) nodes and 17K (950X fewer) edges in about 16 seconds; the spectrally-reduced graphs also allow us to achieve up to 1100X speedup for spectral graph partitioning and up to 60X speedup for t-SNE visualization of large data sets.

研究の動機と目的

• 大規模な無向グラフのスペクトル的圧縮のためのスケーラブルでほぼ線形時間のアルゴリズムを開発し、グラフラプラシアンの最初の数個の非自明固有値および固有ベクトルを保持すること。
• グラフサイズ（ノードおよびエッジ数）を大幅に削減することで、数値的およびグラフ的アルゴリズムの高速化を実現しつつ、スペクトル的忠実度を維持すること。
• スペクトル的グラフ分割法およびt分布確率的近傍埋め込み（t-SNE）の加速を目的として、マルチレベルフレームワークにスペクトル的圧縮を統合すること。
• 反復的エッジ重みスケーリングのための新規な制約付き確率的勾配降下法最適化アプローチにより、高いパフォーマンスと解の品質を達成すること。
• 実世界の大規模グラフおよびデータセットにおけるスペクトル的圧縮グラフの有効性を実証し、精度の損失なしに顕著な高速化を示すこと。

提案手法

• スペクトル構造を保持するノード集約スキームを用いて、類似ノードを統合することでグラフを粗視化する。
• 反復的エッジ重みスケーリングを適用するスペクトル的グラフスパース化フレームワークを用い、圧縮されたグラフにおけるスパarsityとスペクトル的忠実度を維持する。
• スペクトル的ラプラシアン固有ベクトルの強固な保持を保証するため、新規な制約付き確率的勾配降下法（SGD）最適化手法を用いてエッジ重みを精緻化する。
• 類似度に配慮したスペクトル的スパース化と、グラフ論的代数的多重グリッド（AMG）ラプラシアンソルバを活用し、ほぼ線形時間の計算量を達成する。
• スペクトル的圧縮グラフ上で計算される固有ベクトルおよびその他の解の品質を向上させるための精緻化手順を導入する。
• マルチレベルアルゴリズムに統合することで、スペクトル的グラフ分割法およびt-SNEの計算を大規模データセット上で高速化する。

実験結果

リサーチクエスチョン

• RQ1 ほぼ線形時間のアルゴリズムは、グラフ圧縮の過程で元のグラフラプラシアンの最初の数個の非自明固有値および固有ベクトルを保持できるか？
• RQ2 スペクトル的忠実度を維持しつつ、スペクトル的グラフ圧縮によってどの程度グラフサイズ（ノードおよびエッジ数）を削減できるか？
• RQ3 提案されたフレームワークは、大規模グラフおよびデータセットにおけるマルチレベルスペクトル的グラフ分割法およびt-SNE可視化の加速にどの程度有効か？
• RQ4 高次の固有ベクトル（例：10番目）を含めることで、t-SNE埋め込みベクトルとの相関にどのような影響があるか？
• RQ5 スペクトル的圧縮グラフは、実用的なグラフおよびデータ分析ワークロードにおいて、高い高速化と高い解の品質の両方を達成できるか？

主な発見

• coPapersCiteseerグラフ（0.43Mノード、16Mエッジ）が約16秒で13Kノード、17Kエッジに圧縮され、ノード数は32倍、エッジ数は950倍に削減された。
• 圧縮されたグラフを用いたスペクトル的グラフ分割法により、元のグラフと比較して最大1100倍の高速化が達成され、特に分割数が多い場合においてMETISよりも一貫して高い分割品質を示した。
• スペクトル的圧縮グラフを用いたt-SNE可視化により、最大60倍の高速化が達成され、明確なクラスタ境界と高品質な埋め込みが維持された。
• t-SNE埋め込みベクトルと最初の数個のラプラシアン固有ベクトルとの間に強い相関（最大0.95）が観察された。特に10番目の固有ベクトルを含めると、USPSおよびMNISTデータセットにおける真のクラスタ数（10）と整合した。
• すべての実験において、スペクトル的圧縮グラフは高い解の品質を維持しており、巨大なサイズ削減にもかかわらず精度の損失は最小限に抑えられた。
• 提案された制約付きSGD最適化および反復的スケーリングフレームワークにより、強固なスペクトル的保持とスケーラビリティが実現され、ほぼ線形時間の計算量が達成された。