[論文レビュー] Global Attention Improves Graph Networks Generalization

Omri Puny, Heli Ben-Hamu+1 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Graph Neural Networks参考文献 56被引用数 11

ひとこと要約

本稿では、一般化性能を向上させるために、メモリおよび計算コストに優れた低ランクグローバルアテンション（LRGA）を導入する。LRGAをランダムグラフニューラルネットワーク（RGNN）フレームワークに統合することで、2-Folklore Weisfeiler-Lehman（2-FWL）同型性テストとアルゴリズム的に整合するようになり、グラフ分類、回帰、リンク予測の複数のGNNベンチマークで最先端の性能を達成する。

ABSTRACT

This paper advocates incorporating a Low-Rank Global Attention (LRGA) module, a computation and memory efficient variant of the dot-product attention (Vaswani et al., 2017), to Graph Neural Networks (GNNs) for improving their generalization power. To theoretically quantify the generalization properties granted by adding the LRGA module to GNNs, we focus on a specific family of expressive GNNs and show that augmenting it with LRGA provides algorithmic alignment to a powerful graph isomorphism test, namely the 2-Folklore Weisfeiler-Lehman (2-FWL) algorithm. In more detail we: (i) consider the recent Random Graph Neural Network (RGNN) (Sato et al., 2020) framework and prove that it is universal in probability; (ii) show that RGNN augmented with LRGA aligns with 2-FWL update step via polynomial kernels; and (iii) bound the sample complexity of the kernel's feature map when learned with a randomly initialized two-layer MLP. From a practical point of view, augmenting existing GNN layers with LRGA produces state of the art results in current GNN benchmarks. Lastly, we observe that augmenting various GNN architectures with LRGA often closes the performance gap between different models.

研究の動機と目的

• グラフニューラルネットワーク（GNN）の一般化能力を向上させること。実際には理論的な表現力の限界を超えて良好に一般化されるが、その理由を解明する。
• GNNにおける標準的なグローバルアテンションの高い計算コストを解消すること。これはグラフサイズに二次関数的に依存する。
• 強力なグラフ同型性テストとのアルゴリズム的整合性を用いて、GNNにおけるアテンション機構の一般化性能向上を理論的に正当化すること。
• 実験的に、LRGAが多様なGNNアーキテクチャおよびベンチマークにおいて性能向上をもたらすことを検証すること。

提案手法

• ドット積アテンションの変種として、低ランクκ近似を用いる低ランクグローバルアテンション（LRGA）を提案。計算量はO(κ²|V|)、メモリ使用量はO(κ|V|)に削減される。
• 各フォワードパスでランダム特徴量を再サンプリングするランダムグラフニューラルネットワーク（RGNN）フレームワークを導入。これは確率的意味で普遍的であることを証明した。
• RGNNにLRGAを組み込むことで、多項式カーネルを介して単項式関数を学習することで、2-FWLグラフ同型性テストとアルゴリズム的に整合することを示した。
• ランダムに初期化された2層のMLPで特徴マップを学習する際のカーネルのサンプル複雑度を特定し、一般化保証を提供した。
• OGBやZINCを含む複数のベンチマークデータセット上で、GCN、GAT、GraphSage、GatedGCN、GINといった複数のGNNアーキテクチャに対してLRGAの実験的評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 低ランクグローバルアテンション機構は、表現力の限界を超えてGNNの一般化性能を向上させることができるか？
• RQ2 GNNにLRGAを追加することで、2-FWL同型性テスト（WLテストよりも強いグラフ同型性基準）とアルゴリズム的に整合するようになるか？
• RQ3 RGNNフレームワークにおいて、LRGAを用いて2-FWL更新ルールを学習する際のサンプル複雑度は何か？
• RQ4 LRGAは多様なGNNアーキテクチャおよびグラフ学習タスクにおいて一貫して性能を向上させるか？

主な発見

• 評価されたすべてのGNNモデルおよびデータセットにおいてLRGAが性能向上を示し、グラフ分類および回帰タスクでしばしば最先端の結果を達成した。
• OGBのリンク予測ベンチマークでは、LRGAを拡張したGCNが、ogbl-ppaでHits@100が0.342 ± 0.016を達成し、Node2vecやDeepWalkを上回った。
• ogbl-collabデータセットでは、LRGA + GCNがHits@50で0.522 ± 0.007を達成し、2位のGraphSageを4ポイント以上上回った。
• ogbl-ddiでは、LRGA + GCNがHits@20で0.623 ± 0.091を達成し、MFやGraphSageを著しく上回った。
• ランダム特徴量を用いたPATTERNにおけるアブレーションスタディでは、LRGA + GINが86.765%の正確度を達成し、GIN単体よりも1.005%の向上を示した。
• LRGAは異なるGNNアーキテクチャ間の性能差を一貫して埋め合わせており、一般化の安定化と強化におけるその役割を示している。