[論文レビュー] GraphZoom: A multi-level spectral approach for accurate and scalable graph embedding

Chenhui Deng, Zhiqiang Zhao+3 more|arXiv (Cornell University)|Oct 6, 2019

Advanced Graph Neural Networks参考文献 29被引用数 55

ひとこと要約

GraphZoomは、ノード属性とトポロジーを融合する4段階の多層フレームワークを導入し、スペクトル的にグラフを粗くし、最も粗いレベルで標準的な非監視埋め込みを適用し、グラフフィルタリングを用いて埋め込みを洗練させることで、精度とスケーラビリティを向上させる。

ABSTRACT

Graph embedding techniques have been increasingly deployed in a multitude of different applications that involve learning on non-Euclidean data. However, existing graph embedding models either fail to incorporate node attribute information during training or suffer from node attribute noise, which compromises the accuracy. Moreover, very few of them scale to large graphs due to their high computational complexity and memory usage. In this paper we propose GraphZoom, a multi-level framework for improving both accuracy and scalability of unsupervised graph embedding algorithms. GraphZoom first performs graph fusion to generate a new graph that effectively encodes the topology of the original graph and the node attribute information. This fused graph is then repeatedly coarsened into much smaller graphs by merging nodes with high spectral similarities. GraphZoom allows any existing embedding methods to be applied to the coarsened graph, before it progressively refine the embeddings obtained at the coarsest level to increasingly finer graphs. We have evaluated our approach on a number of popular graph datasets for both transductive and inductive tasks. Our experiments show that GraphZoom can substantially increase the classification accuracy and significantly accelerate the entire graph embedding process by up to 40.8x, when compared to the state-of-the-art unsupervised embedding methods.

研究の動機と目的

• グラフ埋め込みにおける埋め込み精度とスケーラビリティのトレードオフを動機づけ、対処する。
• 粗化中にスペクトル特性を保持する統一された多層フレームワークを提案する。
• 粗化フレームワーク内で任意の非監視埋め込み法をプラグアンドプレイで利用できるようにする。
• グラフフィルタベースの洗練段階を通じて埋め込み品質を向上させる。
• 大規模グラフへのスケーラビリティを示し、精度を維持または向上させる。

提案手法

• Phase 1 グラフ融合は、トポロジーとノード特徴量からコサイン類似度で構築された kNN 属性グラフを結合して融合隣接行列を作成し、融合ウェイト beta で制御する。
• Phase 2 スペクトル粗化は、局所スペクトル埋め込みとスペクトルノード親和度を用いてスペクトル的に類似したノードを結合し、最初のいくつかのラプラシアン固有ベクトルを保ちながら、粗化されたグラフの階層を構築する。粗化は線形時間の集約スキームを用い、密度制御のためのオプションの GRASS スペクトルスパース化を提供する。
• Phase 3 グラフ埋め込みは、最も粗いグラフに既存の任意の非監視埋め込み法を適用して初期埋め込みを得る。
• Phase 4 埋め込みの洗練は、粗い埋め込みを射影演算子を介してより細かなグラフへ写像し、低域通過のグラフフィルターを適用して埋め込みを平滑化する（(I-L)^k で近似）、元のグラフの埋め込みを回復するまで反復する。

実験結果

リサーチクエスチョン

• RQ1 多層スペクトルアプローチは、非監督グラフ埋め込みにおいて埋め込みの精度とスケーラビリティを同時に改善できるか？
• RQ2 結合されたグラフでノード属性とトポロジーを融合することは、トポロジーのみの手法より埋め込み品質を向上させるか？
• RQ3 後続の埋め込みのためにスペクトル粗化が本質的なグラフ構造をどれだけ保持できるか？
• RQ4 追加のモデル学習なしに、非学習型のグラフフィルタベースの洗練段階は最終的な埋め込みを意味のある形で改善できるか？
• RQ5 GraphZoomは基礎となる埋め込みカーネルに依存しない（アゴノスティック）で、非常に大規模なグラフにスケールするか？

主な発見

• GraphZoomは、転導的（transductive）および帰納的（inductive）タスク全体でベースラインの非監視手法より高い埋め込み精度を達成し、相対的な改善は最大で19.4%である。
• GraphZoomは、標準ベンチマークで従来の最先端手法と比較して埋め込みプロセスを最大40.8倍速くできる。
• 大規模な Friendster データでは、GraphZoomは Micro-F1を最大49.9%高く、ベースラインに対して最大119.8倍のスピードアップを実現。
• 洗練段階は効率的な疎行列乗算とグラフフィルタリングを用い、高コストな逆行列計算を避けつつ高周波ノイズを低減する。
• GraphZoomは高く構成可能で、基礎となる埋め込みカーネルに依存しないため、DeepWalk、node2vec、DGI、GraphSAGEと組み合わせると精度と速度の両方を向上させる。
• アブレーション分析は、洗練カーネル（グラフフィルタ）が結果を大きく改善しており、特に大きな粗化時に顕著であることを示している。