[論文レビュー] Redundancy-Free Computation Graphs for Graph Neural Networks

Zhihao Jia, Sina Lin+4 more|arXiv (Cornell University)|Jun 9, 2019

Advanced Graph Neural Networks参考文献 17被引用数 9

ひとこと要約

本稿では、階層的構造を用いて共有近傍ノードの集約を明示的に管理することにより、重複する計算とデータ転送を排除する、新しいGNN表現である階層的集約計算グラフ（HAGs）を提案する。HAGsは、集約コストを最大6.3倍まで削減し、モデルの精度を保持したまま、エンドツーエンドの学習と推論のスループットをそれぞれ最大2.8倍および2.9倍まで向上させる。

ABSTRACT

Graph Neural Networks (GNNs) are based on repeated aggregations of information across nodes' neighbors in a graph. However, because common neighbors are shared between different nodes, this leads to repeated and inefficient computations. We propose Hierarchically Aggregated computation Graphs (HAGs), a new GNN graph representation that explicitly avoids redundancy by managing intermediate aggregation results hierarchically, eliminating repeated computations and unnecessary data transfers in GNN training and inference. We introduce an accurate cost function to quantitatively evaluate the runtime performance of different HAGs and use a novel HAG search algorithm to find optimized HAGs. Experiments show that the HAG representation significantly outperforms the standard GNN graph representation by increasing the end-to-end training throughput by up to 2.8x and reducing the aggregations and data transfers in GNN training by up to 6.3x and 5.6x, while maintaining the original model accuracy.

研究の動機と目的

• 共通の近傍ノードを複数のノードで共有する構造に起因する、標準的なGNN計算グラフの非効率性を解消すること。
• 実世界のグラフに見られるクラスタ構造を有する計算パターンを捉える新しいGNN表現を設計すること。
• 最適化されたHAGを理論的保証とともに自動的に発見するためのコストモデルと探索アルゴリズムを開発すること。
• モデルの精度を損なわず、GNNの学習および推論における顕著な性能向上を達成すること。

提案手法

• 共通の近傍ノードを持つノード間で中間集約結果を再利用する階層的グラフ表現としてHAGsを提案する。
• 計算とメモリアクセスの観点から、異なるHAGの実行時間性能を定量的に推定するためのコストモデルを定義する。
• サブモジュラリティを活用して、最適解の(1−1/e)≈63%以上の近似解を有するHAGを探索する新しいHAG探索アルゴリズムを開発する。
• 理論的最適性保証を証明する：順序付き近傍集約を要するGNNに対してはグローバル最適性を、それ以外のGNNに対しては(1−1/e)-近似を達成する。
• 実世界のグラフに探索アルゴリズムを適用し、任意のGNNモデルに最適化されたHAGを自動生成する。
• HAGがモデルに依存せず、元のGNNグラフと機能的に同等であり、元のモデルの精度を保持することを保証する。

実験結果

リサーチクエスチョン

• RQ1 実世界のグラフにおける共有近傍ノードに起因する冗長な計算を、新しいGNN計算グラフ表現で軽減できるか？
• RQ2 計算量とメモリアクセスを最小限に抑えつつ、モデルの精度を維持するHAGを体系的に探索する方法は何か？
• RQ3 異なるGNN集約方式を想定した場合、HAG探索アルゴリズムにどのような理論的性能保証を提供できるか？
• RQ4 HAGは、標準的なGNNグラフと比較して、エンドツーエンドの学習および推論効率をどの程度向上できるか？

主な発見

• HAGsは、標準的なGNNグラフと比較して、集約回数を最大6.3倍まで削減する。
• HAGsは、データ転送サイズを最大5.6倍まで削減し、メモリ帯域幅の圧力を顕著に低減する。
• エンドツーエンドの学習スループットは最大2.8倍、推論スループットは最大2.9倍向上し、モデル精度に低下は認められない。
• HAG探索アルゴリズムは、コストモデル下で、グローバルに最適なHAGの(1−1/e)≈63%以上の近似を達成する。
• 本手法は汎用的であり、任意のGNNモデルに適用可能である。HAGはモデルに依存せず、元の計算の意味論を保持する。