[論文レビュー] How Attentive are Graph Attention Networks?

Shaked Brody, Uri Alon+1 more|arXiv (Cornell University)|May 30, 2021

Advanced Graph Neural Networks参考文献 68被引用数 42

ひとこと要約

要約: 本論文は標準の Graph Attention Networks (GATs) が動的注意ではなく静的注意を実装していることを示し、理論的にその制限を証明し、動的注意を実現する単純な操作の再順序である GATv2 を導入する。複数のベンチマークで動的注意と優れた性能を達成。

ABSTRACT

Graph Attention Networks (GATs) are one of the most popular GNN architectures and are considered as the state-of-the-art architecture for representation learning with graphs. In GAT, every node attends to its neighbors given its own representation as the query. However, in this paper we show that GAT computes a very limited kind of attention: the ranking of the attention scores is unconditioned on the query node. We formally define this restricted kind of attention as static attention and distinguish it from a strictly more expressive dynamic attention. Because GATs use a static attention mechanism, there are simple graph problems that GAT cannot express: in a controlled problem, we show that static attention hinders GAT from even fitting the training data. To remove this limitation, we introduce a simple fix by modifying the order of operations and propose GATv2: a dynamic graph attention variant that is strictly more expressive than GAT. We perform an extensive evaluation and show that GATv2 outperforms GAT across 11 OGB and other benchmarks while we match their parametric costs. Our code is available at https://github.com/tech-srl/how_attentive_are_gats . GATv2 is available as part of the PyTorch Geometric library, the Deep Graph Library, and the TensorFlow GNN library.

研究の動機と目的

• GATs がクラシックな注意機構のように動的注意を計算するかを同定する。
• 理論的に GAT の注意が静的でクエリに依存しないという制限を特徴づける。
• GAT を最小限の変更で動的注意モデルへ変換する（GATv2）提案。
• 多様なベンチマークで GAT と GATv2 を実証的に比較し、性能と頑健性を評価する。
• データセット特性に基づき GATv2 を GAT よりいつ使用すべきか実践的な指針を提供する。

提案手法

• 静的と動的注意を定義し、それらの性質を形式化する。
• 標準的な GAT 層が静的注意のみを計算することを証明する（定理1）。
• 線形変換と非線形変換の順序を再配置して動的注意を可能にすることで GATv2 を提案する（定理2）。
• 合成データと実データセットで評価する（ノード/リンク/グラフ予測を含む OGB ベンチマークと QM9）。
• エッジノイズに対する頑健性とヘッド数を変化させた場合の性能を比較する。
• 主要フレームワークとの実装と統合をリリースする。

実験結果

リサーチクエスチョン

• RQ1 標準的な GAT は動的注意を実装しているか、それとも静的注意のみか？
• RQ2 パラメータ数を大幅に増やさずに GAT を動的注意へ動かす最小限の変更は可能か？
• RQ3 GATv2 は多様なグラフタスクで GAT より精度と頑健性を改善するか？
• RQ4 どのベンチマークで動的注意が最も利点をもたらすか？

主な発見

• GAT はクエリに依存しない neighbor の重要度のランク付けに限定される静的注意に制限されている。
• 運算の再順序により GATv2 は動的注意を実現し、GAT より表現力が高くなる。
• GATv2 は Open Graph Benchmark のタスクや QM9 の性質を含む 12 のベンチマークで GAT を上回る。
• GATv2 は構造的ノイズに対する頑健性が GAT より高い。
• DictionaryLookup の合成タスクでは、単一ヘッドの GAT は訓練データに適合できないが GATv2 は成功する。
• 一部のタスクでは非注意型 GNN（GCN/GIN）が注意ベースのモデルより良い結果を出すことがあり、タスク依存の注意の利点を強調する。