[論文レビュー] Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification

Rakshith Sharma Srinivasa, Cao Xiao+3 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Graph Neural Networks参考文献 29被引用数 13

ひとこと要約

FastGAT は、入力グラフをスプライシフィケーションするために効果的抵抗に基づくスペクトルスプライシフィケーションを用いることで、グラフアテンションネットワーク（GAT）の計算を高速化し、ノード数に応じて計算複雑度を二次関数的からほぼ線形にまで低減する。この手法は理論的に GAT の特徴表現を保持し、精度の低下を最小限に抑えながら学習および推論で最大 10 倍の高速化を達成し、標準的な GAT がメモリ制限のため失敗するような大規模グラフ（例：Reddit）でも GAT を実行可能にする。

ABSTRACT

The attention mechanism has demonstrated superior performance for inference over nodes in graph neural networks (GNNs), however, they result in a high computational burden during both training and inference. We propose FastGAT, a method to make attention based GNNs lightweight by using spectral sparsification to generate an optimal pruning of the input graph. This results in a per-epoch time that is almost linear in the number of graph nodes as opposed to quadratic. We theoretically prove that spectral sparsification preserves the features computed by the GAT model, thereby justifying our algorithm. We experimentally evaluate FastGAT on several large real world graph datasets for node classification tasks under both inductive and transductive settings. FastGAT can dramatically reduce (up to extbf{10x}) the computational time and memory requirements, allowing the usage of attention based GNNs on large graphs.

研究の動機と目的

• アテンションベースの GNN の計算コストの高さ、特にグラフサイズに二次関数的に増加する計算コストを低減すること。
• 標準的な GAT がメモリ不足や処理が極めて遅いために実行不可能な大規模グラフ上でも、GAT の効率的な学習と推論を可能にすること。
• GAT に限らず、さまざまなアテンションベースの GNN に適用可能な汎用的なスプライシフィケーション手法の開発。
• スペクトルスプライシフィケーションが GAT モデルが学習する本質的な特徴を保持することを理論的に正当化すること。
• 訓練中に性能を維持するために、スプライシフィケーションのパラメータ（ε）を動的に調整するアルゴリズムの設計。

提案手法

• グラフの接続性およびスペクトル的性質を保つために、エッジの重要度を効果的抵抗を用いて測定する。
• スペクトルスプライシフィケーションを適用して、グラフのスペクトル構造を維持しつつ、エッジ数を大幅に削減した部分グラフを生成する。
• 高速ラプラシアンソルバーと Johnson-Lindenstrauss の近似を用いて、効果的抵抗を O(M log N) 時間で計算する（M はエッジ数）。
• GAT の元のグラフをスプライシフィケーションされた部分グラフに置き換え、ペアワイズアテンション計算の数を著しく削減する。
• 検証性能をもとにエポックごとにスプライシフィケーションレベル（ε）を動的に調整する適応的アルゴリズムを導入する。
• 理論的分析により、スペクトルスプライシフィケーションが GAT が学習する特徴表現を保持することを証明し、本手法の有効性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 効果的抵抗に基づくグラフスプライシフィケーションを用いることで、性能を損なわずにアテンションベースの GNN を高速化できるか？
• RQ2 スペクトルスプライシフィケーションは、GAT モデルが学習する重要な特徴表現を保持するか？
• RQ3 提案手法は、実世界の大規模グラフにおいて顕著な高速化（例：10倍）を達成できるか、かつ競争力のある精度を維持できるか？
• RQ4 本手法は GAT に限らず、他のアテンションベースの GNN アーキテクチャにも一般化可能か？
• RQ5 訓練中にスプライシフィケーションレベルを動的に調整する適応的戦略は、最適な性能を維持できるか？

主な発見

• FastGAT は、標準的な GAT と比較して、学習時間を最大 10 倍短縮し、精度の低下は最小限に抑えられる。
• Reddit データセットでは、FastGAT は 1 エポックあたり 7.73 秒で F1 スコア 0.93 を達成するが、標準的な GAT はメモリ不足で停止する。
• Coauthor-Physics において、エッジ数をたった 163,334 にまでスプライシフィケーションしても（ε = 0.5）、完全なグラフ GAT と同等の性能を維持する。
• 適応的スプライシフィケーションアルゴリズムは、固定εのベースラインと同等の学習速度を達成し、複数のデータセットにわたり高いロバスト性を示した。
• FastGAT は、コサイン類似度ベースのアテンションやゲート付きアテンションネットワーク（Gated Attention Networks）など、他のアテンション機構にも一般化可能であり、広範な適用性を示した。
• 理論的分析により、スペクトルスプライシフィケーションが GAT が計算する本質的な特徴を保持することが確認され、本手法の根拠を強固に裏付けた。