[論文レビュー] GaAN: Gated Attention Networks for Learning on Large and Spatiotemporal Graphs

Jiani Zhang, Xingjian Shi+4 more|arXiv (Cornell University)|Mar 20, 2018

Advanced Graph Neural Networks参考文献 19被引用数 314

ひとこと要約

GaANは小さな畳み込みサブネットワークが各アテンションヘッドをゲートすることでゲート付きマルチヘッド注意グラフアグリゲータを導入し、帰納的ノード分類を改善し、時空 forecasting のためのGraph Gated Recurrent Unit (GGRU)を可能にする。

ABSTRACT

We propose a new network architecture, Gated Attention Networks (GaAN), for learning on graphs. Unlike the traditional multi-head attention mechanism, which equally consumes all attention heads, GaAN uses a convolutional sub-network to control each attention head's importance. We demonstrate the effectiveness of GaAN on the inductive node classification problem. Moreover, with GaAN as a building block, we construct the Graph Gated Recurrent Unit (GGRU) to address the traffic speed forecasting problem. Extensive experiments on three real-world datasets show that our GaAN framework achieves state-of-the-art results on both tasks.

研究の動機と目的

• 中心ノードの近傍でどのアテンションヘッドが最も有益かを学習するグラフアグリゲータを設計・動機付ける。
• GaAN、ゲート付きマルチヘッドアグリゲータを開発し、大規模グラフでのノード表現学習を改善する。
• GaANを再帰的構造（GGRU）へ拡張し、グラフ上の時空 forecasting を実現する。
• 大規模グラフでの訓練効率を向上させるために、改善されたサンプリングと近傍統合戦略を採用する。
• 帰納的ノード分類と交通速度予測データセットで最先端の性能を示す。

提案手法

• GaAN: gate Sub-network を備えたマルチヘッドアグリゲータを提案し、中心ノードごとに各ヘッドへゲートスカラーを割り当てる。
• ゲート g_i^(k) を、中心ノードと近傍の特徴を集約する軽量畳み込みネットワークを用いて計算する（Eq. 3）。
• 標準のマルチヘッドアグリゲーション（Eq. 2）にゲートを組み込み、それぞれのヘッドの寄与を調整する。
• 時空 forecasting のための任意のグラフアグリゲータを再帰ユニット（GGRU）へ変換する統一フレームワークを提供する（Graph GRU 方程式はセクション6.1）。
• 訓練時の大規模グラフを扱うため、GraphSAGEに類似したメモリ効率の高い近傍サンプリングと統合を提案する。
• GaANを複数のベースライン（注意機構ベース、プーリングベース、ペアワイズサムアグリゲータ）と比較し、PPIとRedditのノード分類、およびMETR-LAの交通 forecasting で評価する。

実験結果

リサーチクエスチョン

• RQ1 ゲートを追加したマルチヘッド注意は、標準のマルチヘッド注意と比べて帰納的ノード分類タスクで性能を向上させるか？
• RQ2 GaANは大規模な現実データグラフ上で、プーリングとペアワイズサムのアグリゲータを上回ることができるか？
• RQ3 GaANは時空 forecasting のグラフGRUフレームワークへ一般化できるか？
• RQ4 ゲート設計、アテンションヘッド数、サンプリング戦略が性能と効率に与える影響は何か？

主な発見

• GaANは、PPIおよびRedditの帰納的ノード分類ベンチマークで、ベースラインのアグリゲータおよび注意のみモデルと比較してマイクロF1で最先端を達成した。
• ゲート強化付き注意（GaAN）は、同じヘッド数の標準マルチヘッド注意を一貫して上回り、ヘッドごとのゲーティングの利点を示した。
• 出力次元を大きくし、ヘッド数を増やすと性能が向上する傾向が見られ、データセットに依存する傾向がある（PPI vs Reddit）。
• 小さな次元数のゲーティングネットワーク（d_m = 64）でも、ヘッドごとのゲートを意味のあるレベルで低オーバーヘッドで提供できる。
• GaANベースのGGRUは時空 forecasting 能力を向上させ、グラフベースの系列予測に対する統一的アプローチを可能にする。
• 実験結果は、データセットとタスクを跨ぐベースラインよりも強い性能向上を示している。