[論文レビュー] Towards Efficient Large-Scale Graph Neural Network Computing

Lingxiao Ma, Zhi Yang+5 more|arXiv (Cornell University)|Oct 19, 2018

Advanced Graph Neural Networks参考文献 1被引用数 11

ひとこと要約

NGra は、SAGA-NN モデルを導入することで、頂点プログラムとしての GNN を、明確に区別された Scatter、ApplyEdge、Gather、ApplyVertex の段階で表現する、大規模なグラフニューラルネットワーク（GNN）のための新しい並列フレームワークです。自動的なグラフ分割、チャンクベースのストリーム処理、リングベースのマルチGPUデータストリーミング機構を通じて、効率的でスケーラブルな GPU 加速を実現し、TensorFlow のベースラインと比較して最大 4× の高速化を達成し、GPU 間でほぼ線形のスケーラビリティを実現しています。

ABSTRACT

Recent deep learning models have moved beyond low-dimensional regular grids such as image, video, and speech, to high-dimensional graph-structured data, such as social networks, brain connections, and knowledge graphs. This evolution has led to large graph-based irregular and sparse models that go beyond what existing deep learning frameworks are designed for. Further, these models are not easily amenable to efficient, at scale, acceleration on parallel hardwares (e.g. GPUs). We introduce NGra, the first parallel processing framework for graph-based deep neural networks (GNNs). NGra presents a new SAGA-NN model for expressing deep neural networks as vertex programs with each layer in well-defined (Scatter, ApplyEdge, Gather, ApplyVertex) graph operation stages. This model not only allows GNNs to be expressed intuitively, but also facilitates the mapping to an efficient dataflow representation. NGra addresses the scalability challenge transparently through automatic graph partitioning and chunk-based stream processing out of GPU core or over multiple GPUs, which carefully considers data locality, data movement, and overlapping of parallel processing and data movement. NGra further achieves efficiency through highly optimized Scatter/Gather operators on GPUs despite its sparsity. Our evaluation shows that NGra scales to large real graphs that none of the existing frameworks can handle directly, while achieving up to about 4 times speedup even at small scales over the multiple-baseline design on TensorFlow.

研究の動機と目的

• 既存のディープラーニングおよびグラフ処理フレームワークにおいて、大規模なグラフニューラルネットワーク（GNN）のための効率的でスケーラブルな GPU 支援の欠如に対処すること。
• データフロー型のディープラーニングフレームワークと、グラフ構造を持つニューラルネットワーク計算の間のギャップを埋めること。
• GPU メモリに収まらないほど大きなグラフに対するエンドツーエンドの GNN 学習を、ホストメモリとマルチGPU加速を活用して可能にすること。
• 不規則で疎なデータアクセスパターンを伴う GNN のスパースなグラフ演算（Scatter/Gather）を、GPU 上で最適化すること。

提案手法

• SAGA-NN モデルを導入し、ニューラルネットワーク演算を伴う、Scatter、ApplyEdge、Gather、ApplyVertex の段階のシーケンスとして GNN を表現する頂点プログラムの抽象化を実現する。
• SAGA-NN モデルをチャンク粒度のデータフローダイアグラムにマッピングすることで、単一または複数の GPU を横断する細粒度でスケーラブルなストリーム処理を可能にする。
• GPU メモリ容量を超える大規模なグラフを効率的に管理するため、自動的なグラフ分割とチャンクベースの処理を採用する。
• GPU 間の直接的なデータ交換を可能にすることで、冗長なデータ移動を最小限に抑えるリングベースのストリーミング機構を採用する。
• 各頂点のデータアクセス並列性を活用し、メモリ遅延を最小限に抑えることで、GPU 上でのスパースな Scatter および Gather 演算を最適化する。
• GNN 計算を馴染みのあるディープラーニングエコシステムに統合するため、TensorFlow にカスタム演算子と頂点プログラムの抽象化を拡張する。

実験結果

リサーチクエスチョン

• RQ1 GPU でスケーラブルに実行可能な大規模なグラフニューラルネットワークを、どのように効率的に表現・実行できるか？
• RQ2 GNN が GPU 上で不規則で疎なデータアクセスパターンを伴う場合に、必要なシステムレベルの最適化は何か？
• RQ3 GPU メモリに収まらない大規模なグラフを、マルチGPUとホストメモリを用いて効率的に処理するにはどうすればよいか？
• RQ4 データ移動とスケジューリング戦略の GNN 学習における GPU 上でのパフォーマンスへの影響は何か？
• RQ5 データフローと頂点プログラムの抽象化を組み合わせたハイブリッドモデルは、GNN に対して表現力と高いパフォーマンスの両方を達成できるか？

主な発見

• NGra は、小規模な GNN ワークロードにおいて、複数の TensorFlow ベースラインと比較して最大 4× の高速化を達成し、顕著なパフォーマンス向上を示している。
• リングベースのマルチGPUストリーミング機構は、1 から 2 GPU にスケーリングする際、非リング機構と比較して 1.93× の高速化を達成したのに対し、非リング機構ではたった 1.06× にとどまった。
• NGra は、最大数億本のエッジと数百万の頂点を持つグラフの学習を可能にし、既存のフレームワークの能力を超えてスケーリングを実現している。
• NUMA ノード境界を超えるマルチGPU環境において、NGra はほぼ線形のスケーラビリティを示しており、手動による NUMA 向けテンソル割り当てにより 7.09× の高速化が達成可能である。
• NGra が最適化した GPU 上の Scatter および Gather 演算は、GNN 計算の疎らさにもかかわらず、メモリアクセス効率を著しく向上させている。
• SAGA-NN を TensorFlow に統合することで、システムレベルの最適化を活かしながらも、GNN のプログラミングをシームレスに可能にした。