[論文レビュー] Distributed Training of Graph Convolutional Networks using Subgraph Approximation

Alexandra Angerd, Keshav Balasubramanian+1 more|arXiv (Cornell University)|Dec 9, 2020

Advanced Graph Neural Networks参考文献 21被引用数 5

ひとこと要約

この論文は、グラフ畳み込みネットワーク（GCN）の分散学習における通信オーバーヘッドを低減し、正確性を向上させるために、他のパーティションからの近似近隣情報で部分グラフをオーバーラップさせる部分グラフ近似技術を提案する。この手法は、低メモリ使用量と最小限の同期で単一マシンの正確性を達成でき、大規模グラフにおけるスケーラブルな学習を可能にする。

ABSTRACT

Modern machine learning techniques are successfully being adapted to data modeled as graphs. However, many real-world graphs are typically very large and do not fit in memory, often making the problem of training machine learning models on them intractable. Distributed training has been successfully employed to alleviate memory problems and speed up training in machine learning domains in which the input data is assumed to be independently identical distributed (i.i.d). However, distributing the training of non i.i.d data such as graphs that are used as training inputs in Graph Convolutional Networks (GCNs) causes accuracy problems since information is lost at the graph partitioning boundaries. In this paper, we propose a training strategy that mitigates the lost information across multiple partitions of a graph through a subgraph approximation scheme. Our proposed approach augments each sub-graph with a small amount of edge and vertex information that is approximated from all other sub-graphs. The subgraph approximation approach helps the distributed training system converge at single-machine accuracy, while keeping the memory footprint low and minimizing synchronization overhead between the machines.

研究の動機と目的

• グラフパーティション境界を越えて失われる情報が原因で生じる分散GCN学習における正確性の低下を是正すること。
• モデル性能を損なわず、分散GCN学習における通信オーバーヘッドを低減すること。
• メモリ制限のあるマシンを用いて、大規模グラフにおけるスケーラブルでメモリ効率の良いGCNの学習を可能にすること。
• 分散環境下で単一マシン学習と同等の収束正確性を達成すること。

提案手法

• 大規模グラフを部分グラフに分割し、隣接する部分グラフからの近似頂点およびエッジ情報を補完する部分グラフ近似方式を導入する。
• 非ローカルパーティションからの近似情報として、近隣の頂点およびエッジを含み、通信を削減するための軽量な集約手法を用いて計算する。
• パーティション境界を越える重要な長距離依存関係を保持するために、部分グラフ間に小さな制御されたオーバーラップ（オーバーラップ要因 <1.2）を導入する。
• GCN層内のメッセージパッシング中に近似を適用することで、各ノードが完全なグラフ走査なしに遠く離れた近隣からの関連情報を受信できるようにする。
• 各ノードのローカル部分グラフサイズを制限することで、1マシンあたりのメモリ使用量を低く保ちつつ、戦略的な情報伝搬によりモデル正確性を維持する。
• 本手法は、2つのGCNアーキテクチャ（KW-GCNおよびGraphSAGE）と2つのデータセット（RedditおよびAmazon2M）を用いて評価され、高い正確性と高速な収束を示した。

実験結果

リサーチクエスチョン

• RQ1 分散GCN学習は、通信オーバーヘッドを最小限に抑えつつ、単一マシンの正確性に達することができるか？
• RQ2 部分グラフ近似は、大規模グラフ学習における収束速度およびモデル正確性にどのように影響するか？
• RQ3 正確性と通信コストのバランスを取る最適な部分グラフオーバーラップレベルは何か？
• RQ4 既存の分散GNNフレームワークと比較して、本手法はスケーラビリティおよびパフォーマンス面で優れているか？

主な発見

• Redditデータセットにおいて、本手法は5台のマシンを用いた分散学習でも単一マシン学習と同等の94.94％の正確性を達成した。
• パーティションをまたぐエッジを無視した場合、正確性は著しく低下し89.95％にまで下がった。これは通信損失がもたらす深刻な影響を示している。
• 部分グラフオーバーラップをわずか2％にとどめても、最先端の単一マシンベースラインであるClusterGCNと同等のエポック数で収束を達成した。
• 同じフレームワークで実装した場合、分散アプローチの時間計算量はClusterGCNより低く、1エポックあたりの計算が削減されたことによる。
• わずかな非ローカル頂点の追加により、特にReddit（平均次数100.03）のような高次数グラフにおいて、非線形の正確性向上が得られた。
• 本手法は1マシンあたりのメモリフットプリントを低く保ち、メインメモリに収まらない大規模グラフへも効果的にスケーリングできた。