[論文レビュー] Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis

Maciej Besta, Torsten Hoefler|arXiv (Cornell University)|May 19, 2022

Advanced Graph Neural Networks被引用数 15

ひとこと要約

本稿は、並列および分散型グラフニューラルネットワーク（GNN）の包括的な並列性分析を提示し、データ並列性、モデル並列性、パイプライン処理、非同期性の分類を導入する。多数のGNNモデルとハードウェアを対象に、作業深さ、通信量、同期、テンソルのスパarsityを形式的に分析し、実用的な洞察を提供するとともに、現代のアーキテクチャにおけるスケーラブルで高性能なGNN計算のための主要な研究課題を特定する。

ABSTRACT

Graph neural networks (GNNs) are among the most powerful tools in deep learning. They routinely solve complex problems on unstructured networks, such as node classification, graph classification, or link prediction, with high accuracy. However, both inference and training of GNNs are complex, and they uniquely combine the features of irregular graph processing with dense and regular computations. This complexity makes it very challenging to execute GNNs efficiently on modern massively parallel architectures. To alleviate this, we first design a taxonomy of parallelism in GNNs, considering data and model parallelism, and different forms of pipelining. Then, we use this taxonomy to investigate the amount of parallelism in numerous GNN models, GNN-driven machine learning tasks, software frameworks, or hardware accelerators. We use the work-depth model, and we also assess communication volume and synchronization. We specifically focus on the sparsity/density of the associated tensors, in order to understand how to effectively apply techniques such as vectorization. We also formally analyze GNN pipelining, and we generalize the established Message-Passing class of GNN models to cover arbitrary pipeline depths, facilitating future optimizations. Finally, we investigate different forms of asynchronicity, navigating the path for future asynchronous parallel GNN pipelines. The outcomes of our analysis are synthesized in a set of insights that help to maximize GNN performance, and a comprehensive list of challenges and opportunities for further research into efficient GNN computations. Our work will help to advance the design of future GNNs.

研究の動機と目的

• 巨視的並列アーキテクチャ上で複雑で不規則的かつ高密度なGNN計算を効率的に実行する課題に対処すること。
• データ並列性、モデル並列性、パイプライン並列性（非同期実行を含む）をカバーする、GNNにおける並列性の統一的分類を構築すること。
• 複数のGNNモデルとフレームワークを対象に、作業深さ、通信量、同期、テンソルのスパarsityを分析し、最適化を支援すること。
• メッセージ伝達GNNの枠組みを任意のパイプライン深さに一般化し、将来の最適化機会を特定すること。
• 高パフォーマンスでスケーラブルなGNNシステムを進歩させるための、統合的洞察と包括的な未解決課題のリストを提示すること。

提案手法

• データ並列性、モデル並列性、さまざまなパイプライン戦略を含む、GNNにおける並列性の形式的分類を提案する。
• 作業深さモデルを適用し、GNNモデル全体の計算複雑性と並列性を分析し、作業量と深さを測定する。
• 特に不規則なグラフアクセスパターン下での分散GNN学習および推論における通信量と同期コストを評価する。
• ベクトル化やメモリアクセス最適化の有効性を評価するため、テンソルのスパarsityと密度を分析する。
• メッセージ伝達GNNフレームワークを任意のパイプライン深さをサポートするように一般化し、新たな最適化機会を創出する。
• GNNパイプラインにおける非同期性の形を調査し、将来のスケーラブルで低同期のGNN学習に関する研究の基盤を築く。

実験結果

リサーチクエスチョン

• RQ1 現代のGNNモデルに見られる並列化の形態は何か。また、それらは体系的にどのように分類できるか。
• RQ2 通信量、同期、テンソルのスパarsityは、分散GNN学習および推論のパフォーマンスにどのように影響を与えるか。
• RQ3 パイプライン処理と非同期性は、GNN計算におけるスケーラビリティの向上とボトルネックの低減にどの程度活用可能か。
• RQ4 メッセージ伝達GNN抽象化は、最適化機会を高めるために、どのように任意のパイプライン深さをサポートするように一般化できるか。
• RQ5 分散型、異種型、高性能コンピューティングシステムにおいてGNNをスケーリングするうえでの主な未解決課題と研究機会は何か。

主な発見

• 本稿は、グラフ畳み込みネットワーク（GCNs）やGraphSAGEを越えて、メッセージ伝達GNNクラスに属する複雑なGNNモデルの並列化に関する研究が著しく不足していることを特定した。
• 多項式型や有理型といった非線形GNNモデルの並列化に関する研究はほとんどなく、これは顕著な研究ギャップを示している。
• 急速に重要性が高まっている多様な動的・異種的・時系列的・階層的GNNの並列化は、依然としてほとんど検討されていない。
• 著者らは、大規模なモデルやデータセットへのGNNのスケーリングが依然として大きな課題であり、CNN や Transformers と比べて顕著なパフォーマンスギャップが存在することを強調している。
• 本研究は、動的およびストリーミンググラフ処理からの技術がGNNのスケーラビリティ向上に適応可能である可能性を示しており、有望な研究方向性を示唆している。
• 著者らは、高性能分散メモリシステム、RDMA、SmartNIC、インメモリコンピューティングの統合が、分散GNN計算を顕著に高速化できる可能性があるが、現状ではそれらを備えたシステムはほとんど存在しないと指摘している。