[論文レビュー] Graph Attention Networks

Petar Veličković, Guillem Cucurull+4 more|arXiv (Cornell University)|Oct 30, 2017

Advanced Graph Neural Networks被引用数 8,277

ひとこと要約

この論文は、メッセージパッシング中に隣接ノードに異なる重みを動的に割り当てる学習可能な自己注意メカニズムを用いる、グラフニューラルネットワークの新規アーキテクチャであるグラフ自己注意ネットワーク（GAT）を紹介する。グラフ構造の事前知識が不要な条件下で、ノードの近傍に対してマスク付きマルチヘッド注意を適用することにより、Cora、Citeseer、PubMed、および未知のグラフを含むタンパク質-タンパク質相互作用データセットを含む、推移的および帰納的ノード分類ベンチマークで最先端の性能を達成する。

ABSTRACT

We present graph attention networks (GATs), novel neural network architectures that operate on graph-structured data, leveraging masked self-attentional layers to address the shortcomings of prior methods based on graph convolutions or their approximations. By stacking layers in which nodes are able to attend over their neighborhoods' features, we enable (implicitly) specifying different weights to different nodes in a neighborhood, without requiring any kind of costly matrix operation (such as inversion) or depending on knowing the graph structure upfront. In this way, we address several key challenges of spectral-based graph neural networks simultaneously, and make our model readily applicable to inductive as well as transductive problems. Our GAT models have achieved or matched state-of-the-art results across four established transductive and inductive graph benchmarks: the Cora, Citeseer and Pubmed citation network datasets, as well as a protein-protein interaction dataset (wherein test graphs remain unseen during training).

研究の動機と目的

• 固定されたグラフ構造に依存し、高コストな行列演算を要するスペクトラルベースのグラフニューラルネットワークの限界を解消すること。
• 完全に微分可能で効率的かつ帰納的なメッセージパッシング機構を、グラフ構造データに適用すること。
• 事前にグラフ構造の知識がなくても、近傍の異なるノードに異なる重要性を割り当てられるようにすること。
• 特に未知のグラフに対して、推移的および帰納的ノード分類タスクの両方で性能を向上させること。
• 不規則なグラフドメインにおける構造的依存関係を捉えるために、注目メカニズムの利点を調査すること。

提案手法

• ノードとその近傍ノードの間の注目係数を、共有で学習可能なパラメータ行列を用いて計算するグラフ自己注意レイヤーを提案する。
• 訓練の安定化と特徴表現の異なるサブスパイスに注目できるように、マスク付きマルチヘッド注目を適用する。
• ソフトマックス正規化された注目メカニズムを用いて、近傍特徴の重み付き和を計算し、動的かつ適応的な集約を可能にする。
• 複数のグラフ自己注意レイヤーをスタックして、深く階層的な表現を学習し、訓練の安定性を高めるために残差接続を導入する。
• エッジ間でパラメータ共有を採用することで、モデルのスケーラビリティと並列処理の可能性を高める。
• 学習可能な注目重みの寄与度を評価するため、定数注目変種（Const-GAT）を導入する。

実験結果

リサーチクエスチョン

• RQ1 自己注意メカニズムは、グラフ構造データに効果的に適応可能であり、ノード表現学習の向上に寄与するか？
• RQ2 近傍ノードに対して学習可能な動的注目重みを用いることで、GCNのような固定集約方式よりも性能が向上するか？
• RQ3 トレーニング中に見られなかったグラフを含む帰納的タスクにも一般化可能か？
• RQ4 注目メカニズムは、グラフニューラルネットワークにおける解釈可能性と特徴学習をどのように向上させるか？
• RQ5 マルチヘッド注目は、モデルの性能とロバストネスにどのような影響を与えるか？

主な発見

• Coraの引用ネットワークでは、SOTAの性能を達成し、F1スコア83.0 ± 0.7%を記録。GCNより1.5%高い。
• Citeseerでは、F1スコア72.5 ± 0.7%を達成し、GCNより1.6%高い。これは、適応的近傍重み付けの利点を示している。
• PubMedでは、GCNと同等の性能（79.0 ± 0.3%）を達成し、大規模な引用ネットワークでも強力な結果を示している。
• 帰納的PPIデータセットでは、97.3 ± 0.002%の正確度を達成。これは、最良のGraphSAGE結果より20.5%高く、定数注目ベースライン（Const-GAT）より3.9%高い。
• t-SNEを用いた特徴表現の可視化により、明確なクラス内クラスタリングが観察され、強力な判別力があることが示された。
• アブレーションスタディにより、注目メカニズムが極めて重要であることが確認され、定数注目変種（Const-GAT）は完全なGATモデルに比べて顕著に性能が低いことが判明した。