[論文レビュー] MILE: A Multi-Level Framework for Scalable Graph Embedding

Jiongqian Liang, Saket Gurukar+1 more|arXiv (Cornell University)|Feb 26, 2018

Advanced Graph Neural Networks参考文献 38被引用数 27

ひとこと要約

MILEは、大規模なグラフを粗視化することでグラフ埋め込みを高速化するマルチレベルフレームワークを提案する。粗視化されたグラフ上で基本的な埋め込みを適用し、共有されたGCNモデルを用いて埋め込みを精緻化する。計算複雑度の低減と効率的なパrameter共有のおかげで、特にハイパーパramータチューニングを組み合わせた場合、品質の損失を最小限に抑えつつ顕著な高速化を達成する。

ABSTRACT

Recently there has been a surge of interest in designing graph embedding methods. Few, if any, can scale to a large-sized graph with millions of nodes due to both computational complexity and memory requirements. In this paper, we relax this limitation by introducing the MultI-Level Embedding (MILE) framework -- a generic methodology allowing contemporary graph embedding methods to scale to large graphs. MILE repeatedly coarsens the graph into smaller ones using a hybrid matching technique to maintain the backbone structure of the graph. It then applies existing embedding methods on the coarsest graph and refines the embeddings to the original graph through a graph convolution neural network that it learns. The proposed MILE framework is agnostic to the underlying graph embedding techniques and can be applied to many existing graph embedding methods without modifying them. We employ our framework on several popular graph embedding techniques and conduct embedding for real-world graphs. Experimental results on five large-scale datasets demonstrate that MILE significantly boosts the speed (order of magnitude) of graph embedding while generating embeddings of better quality, for the task of node classification. MILE can comfortably scale to a graph with 9 million nodes and 40 million edges, on which existing methods run out of memory or take too long to compute on a modern workstation. Our code and data are publicly available with detailed instructions for adding new base embedding methods: \url{https://github.com/jiongqian/MILE}.

研究の動機と目的

• 大規模グラフ埋め込み手法の高い計算コストに対処すること。
• 既存のグラフ埋め込みアルゴリズムを大規模グラフ上で効率的な学習と推論が可能になるようにすること。
• 階層的粗視化と精緻化を通じて、時間計算量を低減しつつ埋め込みの品質を保持すること。
• DeepWalk、Node2Vec、LINE、NetMFを含む多様な基本埋め込み手法をサポートすること。
• 対称化とラプラシアンに基づく手法を用いて、有向グラフに対してもグラフ埋め込みをスケーラブルに拡張すること。

提案手法

• 構造的に同等のマッチング（SEM）を用いて入力グラフを階層的に粗視化し、各レベルで頂点数と辺数を削減する。
• 粗視化されたグラフ上で選択された基本埋め込み手法を適用し、サイズの縮小により計算を高速化する。
• 各レベル間でパラメータ共有を行う共有GCNモデルを用いて埋め込みを精緻化し、効率性を維持する。
• GCNのメッセージパッシング機構を効率的に実装するため、スパース行列乗算を用いる：$ H^{(k)}(X,A) = \sigma\left(\tilde{D}^{-\frac{1}{2}}\tilde{A}\tilde{D}^{-\frac{1}{2}}H^{(k-1)}(X,A)\Theta^{(k)}\right) $。
• すべてのレベルにわたってフィルタパラメータ$ \Theta^{(k)} $を共有することで、各レベルごとの学習オーバーヘッドを回避し、効率性とパフォーマンスのバランスを取る。
• 有向グラフに対しては、既存の技術を用いて対称化を行い、MILEフレームワーク内で対称な埋め込み手法を適用可能にする。

実験結果

リサーチクエスチョン

• RQ1 階層的粗視化は、埋め込みの品質を保持しつつ、グラフ埋め込みの時間計算量を顕著に低減できるか？
• RQ2 粗視化レベル間でのパラメータ共有は、計算コストを最小限に抑えつつ埋め込みパフォーマンスを維持するのにどの程度効果的か？
• RQ3 ハイパーパramータチューニングと組み合わせた場合、MILEは埋め込みパイプラインをどの程度高速化できるか？
• RQ4 DeepWalk、Node2Vec、LINE、NetMFといった多様な基本埋め込み手法に、MILEはどの程度一般化可能か？
• RQ5 対称化とラプラシアンに基づく粗視化を用いることで、MILEは有向グラフに効果的に拡張可能か？

主な発見

• MILEは、基本埋め込みアルゴリズムの時間計算量を$ T(V,E) $から$ T\left(\frac{V}{\alpha^m}, \frac{E}{\beta^m}\right) + O(k \cdot E) $に低減し、$ \alpha, \beta \in [1.5, 2.0] $であるため、顕著な高速化が達成される。
• 精緻化フェーズは$ E $に線形にしかオーバーヘッドを追加しないため、定数$ k $（通常は数十）が小さいため、元のアルゴリズムよりも総合的なコストが著しく低くなる。
• すべてのレベルにわたって$ \Theta^{(k)} $を共有することで、高品質な埋め込みが得られ、アブレーションスタディ（例：MILE-untrベースライン）でランダム初期化よりも顕著に優れていることが示された。
• フレームワークにより、従来では大規模グラフでは実行不可能だったNetMF や GraRep といった手法が、粗視化によるメモリと時間の要求の低減によって実行可能になった。
• SEMは、5〜20％のノードを構造的に同等と特定し、YouTubeでは最大15％、Yelpでは10％にのぼるため、スケールに応じた効果的な粗視化が可能である。
• ハイパーパramータチューニングパイプラインで使用された場合、複数回の実行が複雑度の定数要因の低減により、実行時間の節約が顕著に顕在化する。