[論文レビュー] GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy

Yongchao Liu, Houyi Li+9 more|arXiv (Cornell University)|Apr 21, 2021

Advanced Graph Neural Networks参考文献 35被引用数 5

ひとこと要約

GraphTheta は、ユーザー定義のニューラルネットワークオペレータを用いた頂点中心のグラフ処理を活用することで、大規模なグラフ上でスケーラブルかつ柔軟に学習可能な分散型グラフニューラルネットワーク（GNN）学習システムである。NN-TGAR 構造とハイブリッド並列実行を導入し、クラスターバッチ学習を含む複数の学習戦略をサポートし、1.4B 頂点および 4.1B エッジを有する産業スケールのデータセットで、CPU ベースの仮想マシンを用いて GraphLearn より最大 30.56×、DistDGL より 2.02× の高速化を達成した。

ABSTRACT

Graph neural networks (GNNs) have been demonstrated as a powerful tool for analyzing non-Euclidean graph data. However, the lack of efficient distributed graph learning systems severely hinders applications of GNNs, especially when graphs are big and GNNs are relatively deep. Herein, we present GraphTheta, the first distributed and scalable graph learning system built upon vertex-centric distributed graph processing with neural network operators implemented as user-defined functions. This system supports multiple training strategies and enables efficient and scalable big-graph learning on distributed (virtual) machines with low memory. To facilitate graph convolutions, GraphTheta puts forward a new graph learning abstraction named NN-TGAR to bridge the gap between graph processing and graph deep learning. A distributed graph engine is proposed to conduct the stochastic gradient descent optimization with a hybrid-parallel execution, and a new cluster-batched training strategy is supported. We evaluate GraphTheta using several datasets with network sizes ranging from small-, modest- to large-scale. Experimental results show that GraphTheta can scale well to 1,024 workers for training an in-house developed GNN on an industry-scale Alipay dataset of 1.4 billion nodes and 4.1 billion attributed edges, with a cluster of CPU virtual machines (dockers) of small memory each (5$\sim$12GB). Moreover, GraphTheta can outperform DistDGL by up to $2.02 imes$, with better scalability, and GraphLearn by up to $30.56 imes$. As for model accuracy, GraphTheta is capable of learning as good GNNs as existing frameworks. To the best of our knowledge, this work presents the largest edge-attributed GNN learning task in the literature.

研究の動機と目的

• 大規模、深層、または高次数ノードを有する偏りの強いグラフで学習する際の、従来の GNN フレームワークのスケーラビリティ制限に対処すること。
• ミニバッチ戦略に起因するサブグラフ爆発によって引き起こされる分散 GNN 学習におけるメモリおよびパフォーマンスのボトルネックを克服すること。
• クラスターバッチを含む、柔軟な学習戦略を統合的かつ拡張可能なシステムアーキテクチャ内で実現すること。
• GPU や専用ハードウェアを必要とせず、コンmodity CPU クラスタ上で効率的かつ低メモリで GNN 学習を実行できることをサポートすること。
• 分散環境における伝統的グラフ処理とディープラーニングワークロードの間の意味的・アーキテクチャ的ギャップを埋めること。

提案手法

• グラフ計算とディープラーニングフレームワークを分離するために、頂点中心の分散グラフ処理エンジン内に GNN をユーザー定義関数（UDF）として実装する。
• NN-TGAR（再帰を対象としたニューラルネットワーク指向グラフ抽象化）を導入し、グラフ処理と GNN 操作を統合する新しい抽象化を提供することで、グラフ畳み込みの実装を簡素化する。
• ハイブリッド並列実行を採用：各学習バッチが複数のワーカーによって分散処理され、データ並列性とモデル並列性が動的に統合される。
• 複数のノードで協調的にサブグラフを処理することで、メモリ負荷を軽減し収束性を向上させるクラスターバッチ学習戦略を設計する。
• 分散グラフエンジンを活用し、効率的な近隣ノードサンプリングとワーカー間での勾配集約をサポートする確率的勾配降下法（SGD）を最適化する。
• 新しい学習戦略やグラフ処理プリミティブのシームレスな統合を可能にするモジュラで拡張可能なシステムアーキテクチャを設計する。

実験結果

リサーチクエスチョン

• RQ1 頂点ごとのメモリ制限が厳しい環境において、頂点中心のグラフ処理モデルに基づく分散 GNN 学習システムは、産業スケールのグラフで高いスケーラビリティとパフォーマンスを達成できるか？
• RQ2 提案された NN-TGAR 構造は、従来のフレームワークと比較して、グラフ畳み込みの実装における表現力と効率性をどのように向上させるか？
• RQ3 GraphTheta のパフォーマンスとスケーラビリティは、特にクラスターバッチ戦略を用いた場合、大規模でエッジ属性を持つグラフにおいてどのように評価されるか？
• RQ4 実世界のデータセットにおいて、GraphTheta は DistDGL や GraphLearn といった既存の分散 GNN フレームワークを、学習速度およびモデル一般化性能の面で上回ることができるか？
• RQ5 GPU 加速を一切行わない CPU ベースのシステムは、大規模 GNN 学習において、どの程度の競争力を持つパフォーマンスを達成できるか？

主な発見

• GraphTheta は、CPU ベースの仮想マシンクラスタ上で 1,024 ワーカーまで効果的にスケーリングでき、大規模な GNN 学習における強力な水平スケーラビリティを示した。
• Alipay データセット（1.4B 頂点、4.1B エッジ）において、4 層の GCN を学習した際、GraphLearn より 30.56×、DistDGL より 2.02× の高速化を達成した。
• クラスターバッチ学習戦略は、Alipay データセットで最も速い収束と最良の一般化性能を示し、標準的なミニバッチおよびグローバルバッチ手法を上回った。
• Reddit を含む複数のベンチマークデータセットにおいて、GraphTheta は DistDGL や GraphLearn といった既存のフレームワークと同等またはより高いモデル精度を達成した。
• ノードが最大数十万の近隣ノードを持つ偏りの強いグラフにおいても、効率的なバッチ管理によりサブグラフ爆発を回避し、堅牢なパフォーマンスを示した。
• GPU を一切使用しないにもかかわらず、GraphTheta は競争力のある学習スループットを達成しており、パブリッククラウドインfraストラクチャ上での低コストで生産用途に適した展開の可能性を示した。