[論文レビュー] Ripple Walk Training: A Subgraph-based training framework for Large and Deep Graph Neural Network

Jiyang Bai, Yuxiang Ren+1 more|arXiv (Cornell University)|Feb 17, 2020

Advanced Graph Neural Networks参考文献 39被引用数 12

ひとこと要約

本稿では、大規模かつ深層なグラフニューラルネットワーク（GNN）における学習を高速化し、メモリ使用量を削減するサブグラフベースのフレームワークであるRipple Walk Training（RWT）を提案する。Ripple Walk Samplerと呼ばれる新規のサンプリング手法を用いて、ランダム性と接続性のバランスを取った高品質なサブグラフをサンプリングすることで、RWTは近隣ノードの爆発、ノード依存性、過剰平滑化の問題を軽減し、GCNおよびGATモデルにおいて多様なデータセットで高速な収束と向上した性能を実現する。

ABSTRACT

Graph neural networks (GNNs) have achieved outstanding performance in learning graph-structured data and various tasks. However, many current GNNs suffer from three common problems when facing large-size graphs or using a deeper structure: neighbors explosion, node dependence, and oversmoothing. Such problems attribute to the data structures of the graph itself or the designing of the multi-layers GNNs framework, and can lead to low training efficiency and high space complexity. To deal with these problems, in this paper, we propose a general subgraph-based training framework, namely Ripple Walk Training (RWT), for deep and large graph neural networks. RWT samples subgraphs from the full graph to constitute a mini-batch, and the full GNN is updated based on the mini-batch gradient. We analyze the high-quality subgraphs to train GNNs in a theoretical way. A novel sampling method Ripple Walk Sampler works for sampling these high-quality subgraphs to constitute the mini-batch, which considers both the randomness and connectivity of the graph-structured data. Extensive experiments on different sizes of graphs demonstrate the effectiveness and efficiency of RWT in training various GNNs (GCN & GAT).

研究の動機と目的

• 大規模かつ深層GNNにおける近隣ノードの爆発、ノード依存性、過剰平滑化の課題に対処すること。
• 完全グラフのミニバッチ学習におけるメモリおよび計算のボトル neck を克服すること。
• より深いGNNアーキテクチャをサポートできるスケーラブルで汎用的な学習フレームワークを開発すること。
• 効果的なモデル更新を可能にするために構造的品質を保持するサブグラフサンプリング手法を設計すること。

提案手法

• RWTは、完全グラフのミニバッチ学習を、完全グラフから抽出したサブグラフベースのミニバッチに置き換える。
• Ripple Walk Samplerは、制御された拡張を伴う確率的ウォークを用いて、サブグラフ内のランダム性と接続性のバランスをとる。
• 各ノードの表現がサブグラフ内の局所的近傍にのみ依存するようにサブグラフをサンプリングすることで、サブグラフ間のノード依存性を排除する。
• フレームワークは、サブグラフミニバッチ上でのみ勾配が計算されたことで、完全なGNNモデルの更新を可能にする。
• サンプリングプロセスは理論的に裏付けられており、サブグラフが構造的および表現的品質を保持することを保証する。
• サブグラフサイズとミニバッチサイズ（M）を調整して、情報カバレッジと冗長性のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 サブグラフベースの学習フレームワークは、大規模GNNにおけるメモリと計算のオーバーヘッドを効果的に低減できるか？
• RQ2 サブグラフサンプリングは、ランダム性と接続性をどのようにバランスさせれば、モデル性能を維持できるか？
• RQ3 RWTはミニバッチ学習における近隣ノードの爆発とノード依存性をどの程度軽減できるか？
• RQ4 RWTは、深層GNNにおける学習効率と一般化性能を向上させるとともに、過剰平滑化を軽減できるか？
• RQ5 拡張比（r）やミニバッチサイズ（M）といったハイパーパrameterは、RWTの性能にどのように影響するか？

主な発見

• RWTは学習時間とメモリ使用量を顕著に削減し、CPUおよびGPUの両方で収束時間が大幅に短縮された。
• Redditデータセットにおいて、RWTを用いたGATは2614秒で68.06％の精度を達成したが、ベースラインはメモリ不足で実行不能だった。
• Ripple Walk Samplerは、5つのすべてのデータセットでランダムおよびBFSサンプリングを上回り、優れたサブグラフ品質を示した。
• r = 0.5のとき、拡張比が最良の性能を示し、ランダム性と接続性の理論的バランスが妥当であることを裏付けた。
• ミニバッチサイズMが増加するにつれて、モデル性能は向上し安定したが、さらなる増加は冗長なサブグラフによる限界効果の減少を示した。
• GCNにRWTを適用した場合、特に深層アーキテクチャにおいて、標準的なGCNよりも高い精度と低い損失を維持しており、過剰平滑化の効果的な是正が確認された。