[論文レビュー] GaAN: Gated Attention Networks for Learning on Large and Spatiotemporal Graphs

Jiani Zhang, Xingjian Shi+4 more|arXiv (Cornell University)|Mar 20, 2018

Advanced Graph Neural Networks参考文献 23被引用数 258

ひとこと要約

GaANはゲート付きアテンションをグラフ集約器として導入し、小さな convnet が各アテンションヘッドをゲートします。これにより帰納的ノード分類が向上し、時空予測のための Graph Gated Recurrent Unit (GGRU) が可能になります。複数の実世界データセットで最先端の結果を達成します。

ABSTRACT

We propose a new network architecture, Gated Attention Networks (GaAN), for learning on graphs. Unlike the traditional multi-head attention mechanism, which equally consumes all attention heads, GaAN uses a convolutional sub-network to control each attention head's importance. We demonstrate the effectiveness of GaAN on the inductive node classification problem. Moreover, with GaAN as a building block, we construct the Graph Gated Recurrent Unit (GGRU) to address the traffic speed forecasting problem. Extensive experiments on three real-world datasets show that our GaAN framework achieves state-of-the-art results on both tasks.

研究の動機と目的

• 注意ヘッドを同じ重みで扱うのではなく異なる重みで評価できるようなより優れたグラフ集約器を動機づける。
• GaAN（ゲート付きマルチヘッドアテンション機構）を開発し、大規模グラフに対する帰納的ノード分類を改善する。
• グラフ構造データ上の時空予測のために、GaANをGraph GRU（GGRU）フレームワークへ展開する。
• 大規模グラフを効率的に扱い、実世界データセットでのトレーニングを可能にするサンプリング戦略を改善する。

提案手法

• 汎用的なグラフ集約器フレームワークを定義し、マルチヘッドアテンション集約器を実装する。
• 各ノードごとに、各アテンションヘッドの寄与を調節するゲートを計算するゲーティングネットワークを導入する。
• 隣接ノードの特徴の平均プーリングと最大プーリングを組み合わせて、ゲートを生成する軽量の畳み込みサブネットワークを用いる。
• GaANをGraph GRU（GGRU）に組み込み、グラフ上の時空系列をモデル化する。
• 大規模グラフへスケールさせ、トレーニングを加速させるために、マージを伴うメモリ効率の良い近傍サンプリングを提案する。

Figure 1: Illustration of a three-head gated attention aggregator with two center nodes in a mini-batch. $|\mathcal{N}_{1}|=3$ and $|\mathcal{N}_{2}|=2$ respectively. Different colors indicate different attention heads. Gates in darker color stands for larger values. (Best viewed in color)

実験結果

リサーチクエスチョン

• RQ1 グラフ集約器におけるアテンションヘッドのゲート制御は、標準のマルチヘッドアテンションより性能を向上させるか？
• RQ2 PPIとRedditで、既存のベースライン（例：GraphSAGE、GAT、FastGCN）と比較して、GaANは帰納的ノード分類でどのように性能を発揮するか？
• RQ3 GaANを再帰的フレームワークへ拡張して、交通速度予測などの時空予測に対応できるか？
• RQ4 サンプリング戦略とゲート次元が、スケーラビリティと精度に与える影響は何か？

主な発見

• GaANは帰納的ノード分類ベンチマーク（PPIとReddit）で最先端または競争力のある結果を達成する。
• 同じヘッド数の標準的なマルチヘッドアテンション集約器に対して、ゲーティング機構は性能を向上させる。
• GaANはMETR-LAの交通速度予測のような時空予測タスクに効果的に対応するGraph GRU（GGRU）へ拡張できる。
• 隣接ノードのマージを伴うメモリ効率の良いサンプリング戦略は、精度を維持しつつ計算負荷を削減し、大規模グラフでのトレーニングを可能にする。

(a) Attention Aggregator