[論文レビュー] A Survey on Graph Neural Network Acceleration: Algorithms, Systems, and Customized Hardware

Shichang Zhang, Atefeh Sohrabizadeh+8 more|arXiv (Cornell University)|Jun 24, 2023

Advanced Graph Neural Networks被引用数 10

ひとこと要約

この調査は、GNN加速の統一分類法を提案し、三つのカテゴリ—アルゴリズム、COTSシステム、カスタマイズされたハードウェア—を横断して、訓練と推論の加速技術をレビューし、将来の方向性を論じる。

ABSTRACT

Graph neural networks (GNNs) are emerging for machine learning research on graph-structured data. GNNs achieve state-of-the-art performance on many tasks, but they face scalability challenges when it comes to real-world applications that have numerous data and strict latency requirements. Many studies have been conducted on how to accelerate GNNs in an effort to address these challenges. These acceleration techniques touch on various aspects of the GNN pipeline, from smart training and inference algorithms to efficient systems and customized hardware. As the amount of research on GNN acceleration has grown rapidly, there lacks a systematic treatment to provide a unified view and address the complexity of relevant works. In this survey, we provide a taxonomy of GNN acceleration, review the existing approaches, and suggest future research directions. Our taxonomic treatment of GNN acceleration connects the existing works and sets the stage for further development in this area.

研究の動機と目的

• 遅延制約を伴う大規模グラフ上でのGNNのスケーラビリティ課題に対処することにより研究の動機づけを行う。
• GNN加速技術の統一的分類法を提供する。
• GNN加速の既存のアルゴリズム、システム、ハードウェアアプローチをレビューする。
• GNN加速における制限事項、適用性、および将来の研究方向について討議する。

提案手法

• GNN加速の三カテゴリ分類法を提案する：アルゴリズム、COTSシステム、カスタマイズされたハードウェア。
• グラフを変更したり計算をサンプリングして計算グラフを削減する訓練加速法をレビューする。
• 剪定、量子化、蒸留などを含む推論加速技術を調査する。
• 対象ハードウェア向けのコード生成やスパースカーネル加速などのCOTSシステム最適化について論じる。
• 層のカスタマイズやスパース性サポートの度合いが異なるアクセラレータを含むカスタマイズハードウェア設計を検討する。
• 特殊な異種・動的グラフの加速に関する課題に対応する。

Figure 1. A taxonomy of GNN acceleration. Specifically, we discuss training algorithms in Section 3 , inference algorithms in Section 4 , COTS systems in Section 5 , customized hardware in Section 6 , and special graphs and GNNs in Section 7 .

実験結果

リサーチクエスチョン

• RQ1 訓練と推論のGNNを加速する既存のアプローチは何か？
• RQ2 グラフの変更とサンプリング戦略がGNN訓練の計算グラフと遅延をどのように削減するか？
• RQ3 GNN加速におけるCOTSシステムとカスタマイズハードウェアの役割とトレードオフは何か？
• RQ4 GNN加速の文脈において異種または動的グラフに特有の考慮事項は何か？

主な発見

• 本調査は、技術をアルゴリズム、COTSシステム、カスタマイズされたハードウェアの三分類に分類することで、GNN加速の統一的な見解を提供する。
• グラフの変更（coarsening, sparsification, condensation）およびサンプリングによる訓練加速を詳述し、計算グラフを削減する。
• 推論加速手法として、剪定、量子化、蒸留を扱う。
• COTSシステムの最適化として、スパース行列演算のGPUカーネル加速やターゲットハードウェア向けのコード生成を論じる。
• 柔軟性のレベルとスパース性サポートが異なるアクセラレータやFPGAを含むカスタマイズハードウェア設計を調査する。
• 加速研究において特別な異種・動的グラフを考慮する必要性を強調し、将来の方向性を概説する。

Figure 2. Illustration of graph modification methods: Graph Coarsening methods perform graph clustering and merge clusters of nodes into a super-node. Graph Sparsification methods remove less important edges. Graph Condensation methods generate a new condensed graph using a randomly initialized gene