[論文レビュー] Survey on Graph Neural Network Acceleration: An Algorithmic Perspective

Xin Liu, Mingyu Yan+6 more|arXiv (Cornell University)|Feb 10, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本調査は、グラフニューラルネットワーク（GNN）の高速化について包括的かつアルゴリズム的視点から提示し、最適化要因とコアメカニズムに基づく、新規の五カテゴリー分類法を導入している。グラフレベルおよびモデルレベルの最適化——例えばサンプリング、スパース化、パーティショニング、単純化、圧縮——を体系的にレビューし、それらの効率性、トレードオフ、相乗効果を強調するとともに、動的グラフ対応、ハードウェアに配慮したアルゴリズム、およびアルゴリズム・ハードウェア共同最適化の分野における今後の研究方向性を特定している。

ABSTRACT

Graph neural networks (GNNs) have been a hot spot of recent research and are widely utilized in diverse applications. However, with the use of huger data and deeper models, an urgent demand is unsurprisingly made to accelerate GNNs for more efficient execution. In this paper, we provide a comprehensive survey on acceleration methods for GNNs from an algorithmic perspective. We first present a new taxonomy to classify existing acceleration methods into five categories. Based on the classification, we systematically discuss these methods and highlight their correlations. Next, we provide comparisons from aspects of the efficiency and characteristics of these methods. Finally, we suggest some promising prospects for future research.

研究の動機と目的

• グラフのスケールとモデルの深さの増大に伴い、GNN実行の効率化が急務であるため、その必要性に対応する。
• 既存のGNN用アルゴリズム的高速化手法を、新規の五カテゴリー分類法に体系的に分類する。
• 学習と推論の両方の文脈において、高速化手法の効率性、特徴、相互関係を比較する。
• GNN高速化における主な課題と今後の研究方向性（特に動的グラフおよびハードウェア共同最適化の文脈）を特定する。
• アルゴリズム的最適化とハードウェアに配慮した設計のギャップを埋め、GNNフレームワークのパフォーマンスを向上させる。

提案手法

• 最適化要因（例：計算、メモリ、通信）とコアメカニズム（例：サンプリング、スパース化、パーティショニング）に基づき、二段階の分類法を提案する。
• サンプリング、スパース化、パーティショニング、単純化、圧縮という五つのアルゴリズム的高速化カテゴリをレビュー・分析し、それらの根拠となる原理と設計目的に焦点を当てる。
• 主なメトリクス（計算コスト（Compt.）、メモリアクセス（Mem.）、通信コスト（Com.））に基づいて、特に分散環境やエッジ環境における手法を評価する。
• スパース化がメモリアクセスを削減し、サンプリングが計算コストを低減するといった、手法間の相関関係を強調する。また、それらを組み合わせて利用する方法も提示する。
• 局所性に配慮したサンプリングといった、ハードウェアに配慮した最適化戦略を導入し、アルゴリズム的選択を下位のハードウェア特性と一致させる。
• アルゴリズム・ハードウェア共同最適化を提唱し、GraphDynSのようなグラフ処理システムの知見を基盤として、GNN実行の意味論とハードウェアデータパスを共同最適化するための指針を提示する。

実験結果

リサーチクエスチョン

• RQ1 GNN用既存のアルゴリズム的高速化手法は、最適化対象とメカニズムに基づいて、どのように体系的に分類できるか？
• RQ2 計算、メモリ、通信コストという観点から、さまざまなGNN高速化手法の主なトレードオフとパフォーマンス特性は何か？
• RQ3 サンプリング、スパース化、パーティショニング、単純化、圧縮という手法は、設計原理とパフォーマンス結果の観点から、どのように相互に関連しているか？
• RQ4 動的グラフにおけるGNNの高速化における主な課題は何か？ また、現在の手法はどのように拡張され、動的トポロジーと特徴をサポートできるか？
• RQ5 アルゴリズム設計は、どのようにハードウェアの特性と一致させられるか？ 今後のGNN高速化において、アルゴリズムとハードウェアの共同最適化が果たす役割は何か？

主な発見

• 提案された五カテゴリー分類法（サンプリング、スパース化、パーティショニング、単純化、圧縮）は、GNN高速化手法の分類と比較を統一的フレームワークで可能にする。
• AS-GCN や GraphSAINT といったサンプリング手法は、代表的な近隣ノードを選択することで計算コストを低減し、制御された分散を伴いながら顕著な高速化を達成する。
• NeuralSparse などのスパース化技術は、タスクに不要なエッジを削除することで、メモリアクセスを削減し、暗黙のノイズ除去により一般化性能を向上させる。
• パーティショニング手法は、パーティション間エッジを最小限に抑え、デバイス間の負荷分散を可能にすることで、分散環境における通信効率を向上させる。
• KD-GCN などの圧縮手法は、仮想エッジの挿入を用いて動的グラフに対応した効率的なモデル distillation を可能にする。
• 今後の研究は、ハードウェアに配慮したアルゴリズム設計とアルゴリズム・ハードウェア共同最適化を優先すべきであり、現在の手法はしばしば低レベルのハードウェア特性を無視しており、特に動的グラフの文脈で顕著である。