[論文レビュー] A Comprehensive Survey on Distributed Training of Graph Neural Networks

Haiyang Lin, Mingyu Yan+5 more|arXiv (Cornell University)|Nov 10, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

この論文は、グラフニューラルネットワーク（GNN）の分散学習について包括的なサーベイを提供し、ワークフロー、計算および通信パターン、最適化技術を分類している。過剰なスムージングや通信オーバーヘッドといった主な課題を強調するとともに、大規模なグラフ学習における深層GNNとモデル並列化の可能性を同定している。

ABSTRACT

Graph neural networks (GNNs) have been demonstrated to be a powerful algorithmic model in broad application fields for their effectiveness in learning over graphs. To scale GNN training up for large-scale and ever-growing graphs, the most promising solution is distributed training which distributes the workload of training across multiple computing nodes. At present, the volume of related research on distributed GNN training is exceptionally vast, accompanied by an extraordinarily rapid pace of publication. Moreover, the approaches reported in these studies exhibit significant divergence. This situation poses a considerable challenge for newcomers, hindering their ability to grasp a comprehensive understanding of the workflows, computational patterns, communication strategies, and optimization techniques employed in distributed GNN training. As a result, there is a pressing need for a survey to provide correct recognition, analysis, and comparisons in this field. In this paper, we provide a comprehensive survey of distributed GNN training by investigating various optimization techniques used in distributed GNN training. First, distributed GNN training is classified into several categories according to their workflows. In addition, their computational patterns and communication patterns, as well as the optimization techniques proposed by recent work are introduced. Second, the software frameworks and hardware platforms of distributed GNN training are also introduced for a deeper understanding. Third, distributed GNN training is compared with distributed training of deep neural networks, emphasizing the uniqueness of distributed GNN training. Finally, interesting issues and opportunities in this field are discussed.

研究の動機と目的

• 分散GNN学習研究における増大する複雑さと断片化に対処し、初心者がワークフロー、パターン、最適化戦略を理解するのを妨げる要因を解消すること。
• 実行ワークフローに基づいて分散GNN学習手法を体系的に分類すること、特にフルバッチおよびミニバッチ学習パラダイムを含む。
• さまざまな分散学習アプローチにおける計算および通信パターンを分析し、メモリおよび通信オーバーヘッドのようなパフォーマンスボトルネックに焦点を当てる。
• 分散DNN学習と比較して、グラフ構造とメッセージパッシングに起因する独自の課題を強調すること。
• 未解決の問題と今後の研究機会を特定すること、特に深層GNNアーキテクチャの実現とスケーラブルなモデル並列化の分野に注目する。

提案手法

• 論文は、分散GNN学習をディスpatchワークロードベースおよびプリセットワークロードベースのフルバッチ学習、および個別サンプルベースおよび共同サンプルベースのミニバッチ学習に分類している。
• GNNにおけるアグリゲーションおよびコンビネーション演算などの計算パターンと、ノード間での特徴量および勾配の交換を含む通信パターンを分析している。
• 通信およびメモリコストを低減するための最適化技術、例えばアクティベーションの再生成、ミニバッチパイプライン処理、データキャッシュをレビューしている。
• 分散GNN学習で使用されるソフトウェアフレームワークおよびハードウェアプラットフォームを評価し、システム効率に与える影響を分析している。
• グラフ固有のデータ依存関係と非ユークリッド的構造に起因する点を強調し、分散DNN学習と比較している。
• パフォーマンス劣化の問題を克服するためのパイプライン処理およびモデル並列化の可能性を含め、深層GNNモデルの発展や新たなトレンドについて議論している。

実験結果

リサーチクエスチョン

• RQ1 分散GNN学習は、そのワークフローと実行モデルに基づいてどのように体系的に分類できるか？
• RQ2 分散GNN学習における支配的な計算および通信パターンは何か？ また、分散DNN学習とはどのように異なるか？
• RQ3 分散GNN学習における通信およびメモリオーバーヘッドを効果的に低減する最適化技術は何か？
• RQ4 過剰なスムージングやアンダーリーチングといったパフォーマンス劣化の問題は、分散学習戦略にどのように影響を与えるか？
• RQ5 大規模なグラフにおけるGNNのスケーリングを実現するための最も有望な今後の研究方向性は何か？

主な発見

• ミニバッチ学習が、DNNにおけるデータ並列性に類似しているため、現在では主流であるが、モデル分割の課題を伴う。
• GNNにおけるパフォーマンス劣化、特に過剰なスムージングとアンダーリーチングは、モデルの深さを制限しており、通常2〜4層に制限される。
• DropEdgeやDropNodeといった技術は過剰なスムージングを緩和するが、仮想エッジやスーパーノードは長距離依存性の問題を解決するのに役立つ。
• 通信およびメモリオーバーヘッドは依然として主要なボトル neck であり、アクティベーションの再生成、パイプライン伝送、データキャッシュの研究が進んでいる。
• 深層GNNモデルの登場により、モデル並列化およびパイプライン並列化が優位になることが予想され、最適化の焦点はデータ分割からモデル分割にシフトする。
• 急速な進展にもかかわらず、大規模なグラフにおけるスケーラブルで効率的かつ一般化可能な分散学習フレームワークに関する顕著な研究ギャップが依然として存在する。