[論文レビュー] GNNAdvisor: An Adaptive and Efficient Runtime System for GNN Acceleration on GPUs

Yuke Wang, Boyuan Feng+5 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Graph Neural Networks被引用数 16

ひとこと要約

GNNAdvisor は、グラフ構造や埋め込み次元などのリアルタイム入力特性を活用して、動的にグラフニューラルネットワーク（GNN）ワークロードを最適化する GPU ランタイムシステムである。適応的 2D ワークロード管理、GPU メモリ階層に配慮した実行、およびカーネルパラメータチューニングのための解析的モデルを採用し、NeuGraph や DGL と比較して最大 4.10× の高速化を達成している。

ABSTRACT

As the emerging trend of graph-based deep learning, Graph Neural Networks (GNNs) excel for their capability to generate high-quality node feature vectors (embeddings). However, the existing one-size-fits-all GNN implementations are insufficient to catch up with the evolving GNN architectures, the ever-increasing graph sizes, and the diverse node embedding dimensionalities. To this end, we propose extbf{GNNAdvisor}, an adaptive and efficient runtime system to accelerate various GNN workloads on GPU platforms. First, GNNAdvisor explores and identifies several performance-relevant features from both the GNN model and the input graph, and uses them as a new driving force for GNN acceleration. Second, GNNAdvisor implements a novel and highly-efficient 2D workload management, tailored for GNN computation to improve GPU utilization and performance under different application settings. Third, GNNAdvisor capitalizes on the GPU memory hierarchy for acceleration by gracefully coordinating the execution of GNNs according to the characteristics of the GPU memory structure and GNN workloads. Furthermore, to enable automatic runtime optimization, GNNAdvisor incorporates a lightweight analytical model for an effective design parameter search. Extensive experiments show that GNNAdvisor outperforms the state-of-the-art GNN computing frameworks, such as Deep Graph Library ($3.02 imes$ faster on average) and NeuGraph (up to $4.10 imes$ faster), on mainstream GNN architectures across various datasets.

研究の動機と目的

• GPU 上での一様な最適化フレームワークの性能制限、特に多様な GNN アーキテクチャやグラフワークロードにおいて顕著な性能劣化を是正すること。
• 実行時特性（ノード次数、埋め込みサイズなど）を露呈することで、システムレベルの意思決定を入力に適応させる動的で入力に適応した最適化を可能にすること。
• 新規の 2D ワークロード管理と GPU メモリ階層連携により、GPU の利用効率を向上させ、メモリアクセスのオーバーヘッドを低減すること。
• 手動チューニングを不要とする、自動的で軽量な解析的モデルを提供し、効率的なカーネルパラメータ探索を実現すること。
• 異なる GPU、GNN モデル、グラフデータセットにわたるスケーラビリティと適応性を示すこと。

提案手法

• GNNAdvisor は実行時において、GNN モデル（例：層数、隠れ次元）と入力グラフ（例：ノード次数分布）からパフォーマンス関連の特徴を抽出する。
• 隣接ノードのパーティショニングとワープアライメントに基づき、GNN の計算を GPU スレッドブロックにマッピングする 2D ワークロード管理戦略を実装する。
• ワープに配慮した共有メモリのカスタマイズにより、グローバルメモリアクセスを低減し、データアクセスパターンをコalescingする。
• 入力特性に基づいて最適なカーネルパラメータ（例：スレッドブロックサイズ、隣接ノードグループサイズ）を予測する軽量な解析的モデルを統合する。
• プログラマビリティを確保するため PyTorch をフロントエンドとして採用し、低レベル最適化はカスタムランタイム層に委ねる。
• 集約フェーズにおける不規則なメモリアクセスを低減し、メモリコalescingを向上させるために、コミュニティに配慮したノード再ラベル化を適用する。

実験結果

リサーチクエスチョン

• RQ1 ノード次数や埋め込み次元性といった実行時入力特性を、システムレベルの GNN 最適化を導くために利用できるか？
• RQ2 GPU 上での 2D ワークロードマッピングをどのように設計すれば、アトミック演算を最小限に抑え、ワープレベルの占有率を向上させられるか？
• RQ3 不規則な GNN ワークロードにおいて、GPU メモリ階層への配慮がどれほどパフォーマンス向上に寄与するか？
• RQ4 解析的モデルは、多様な GNN アーキテクチャやデータセットにわたって、最適なカーネルパラメータを効果的に予測できるか？
• RQ5 GNNAdvisor は、V100 や P6000 といった異なる GPU 硬貨プラットフォームにおいて、どのようにスケーリングするか？

主な発見

• GNNAdvisor は、複数の GNN モデルとデータセットにおいて、Deep Graph Library (DGL) より平均 3.02× の高速化を達成している。
• 最も挑戦的な GNN ワークロードにおいて、NeuGraph より最大 4.10× の高速化を達成し、優れた最適化の適応性を示している。
• ワープアライメントされたスレッドマッピングと共有メモリ最適化により、不規則なメモリアクセスを平均で 47.85% および 57.93% 減少させた。
• コミュニティに配慮したノード再ラベル化は、平均で 4.00% のオーバーヘッドしか発生せず、繰り返し GNN 実行にわたって分散されるため、実世界の利用に実用的である。
• Tesla V100 では、GCN と GIN において、それぞれ P6000 より 1.97× および 1.86× の高速化を達成しており、より高い計算能力とメモリ帯域幅を効果的に活用している。
• 解析的モデルは、異なるモデル、データセット、GPU を含む 4 つの異なる設定において、最適なカーネルパラメータを正しく特定できており、自動チューニングにおける有効性を確認した。