[論文レビュー] Representing Long-Range Context for Graph Neural Networks with Global Attention

Zhanghao Wu, Paras Jain+4 more|arXiv (Cornell University)|Jan 21, 2022

Advanced Graph Neural Networks被引用数 125

ひとこと要約

GraphTrans は標準的な GNN を置換不変の Transformer と組み合わせて長距離ノード関係を学習し、<CLS> トークンを用いたグラフレベル予測の特別なリードアウトを導入し、複数のグラフ分類ベンチマークで最先端の結果を達成します。

ABSTRACT

Graph neural networks are powerful architectures for structured datasets. However, current methods struggle to represent long-range dependencies. Scaling the depth or width of GNNs is insufficient to broaden receptive fields as larger GNNs encounter optimization instabilities such as vanishing gradients and representation oversmoothing, while pooling-based approaches have yet to become as universally useful as in computer vision. In this work, we propose the use of Transformer-based self-attention to learn long-range pairwise relationships, with a novel "readout" mechanism to obtain a global graph embedding. Inspired by recent computer vision results that find position-invariant attention performant in learning long-range relationships, our method, which we call GraphTrans, applies a permutation-invariant Transformer module after a standard GNN module. This simple architecture leads to state-of-the-art results on several graph classification tasks, outperforming methods that explicitly encode graph structure. Our results suggest that purely-learning-based approaches without graph structure may be suitable for learning high-level, long-range relationships on graphs. Code for GraphTrans is available at https://github.com/ucbrise/graphtrans.

研究の動機と目的

• グラフ内の長距離依存を、GNN層の積み重ねや階層的プーリングだけではモデル化する必要性を動機づける。
• GNN のバックボーンとグローバル推論のための Transformer を組み合わせた、単純でフレームワークに依存しないアーキテクチャを提案する。
• グラフレベルの埋め込みを生成する <CLS> トークンを用いた新しいリードアウト機構を調査する。
• 生物学、化学、計算機プログラミングのグラフでの有効性と一般性をデモンストレーションする。

提案手法

• 局所的な短距離構造を学習する標準的な GNN バックボーンを使用する。
• GNN 埋め込みの上に permutation-invariant Transformer を適用し全ペアの相互作用を学習する。
• 位置エンコードを使わず Transformer 次元へノード埋め込みを射影し、マルチヘッド自己注意で処理する。
• 分類のための単一のグラフ埋め込みを生成する学習可能なリードアウトとして <CLS> トークンを採用する。
• 標準的な最適化（Adam）でエンドツーエンドに訓練し、スケーラビリティと効率の比較を示す。

実験結果

リサーチクエスチョン

• RQ1 Transformer モジュールを GNN 埋め込み上で適用することで、より深い GNN やプーリング手法より長距離の依存関係を捉えることができるか？
• RQ2 特別な <CLS> トークンのリードアウトは、グローバルプーリングや仮想ノード手法よりも効果的なグラフ埋め込みを提供するか？
• RQ3 GraphTrans は生物学的、化学的、プログラミングの多様なグラフドメインで効果的であり、大規模グラフへスケールするか？

主な発見

モデル	GNN のタイプ	GNN 層数	NCI1 (%)	NCI109 (%)
Set2Set	GCN	3	68.6 ± 1.9	69.8 ± 1.2
SortPool	GCN	3	73.8 ± 1.0	74.0 ± 1.2
SAGPool h	GCN	3	67.5 ± 1.1	67.9 ± 1.4
SAGPool g	GCN	3	74.2 ± 1.2	74.1 ± 0.8
Errica et al.	GIN	8	80.0 ± 1.4	–
Alon and Yahav	GIN	8	81.5 ± 1.2	–
Transformer	–	–	68.5 ± 2.6	70.1 ± 2.3
GraphTrans (small)	GCN	3	81.3 ± 1.9	79.2 ± 2.2
GraphTrans (large)	GIN	4	82.6 ± 1.2	82.3 ± 2.6

• GraphTrans は複数の Open Graph Benchmark グラフ分類タスクで最先端の結果を達成する。
• NCI1 および NCI109 の生物学データセットで、GraphTrans（小型）は強力なベースラインよりも精度を大幅に向上させる（例: 81.3% 対 68–82% のベースライン範囲）。
• molpcba では GraphTrans は GIN および GIN-Virtual のベースラインより改善を示し、局所構造とグローバルアテンションの組み合わせの利点を示す。
• Code2 では GraphTrans が DAGNN の最先端と他のベースラインを上回り、プログラミンググラフでの長距離推論が有効であることを示す。
• アブレーションは <CLS> リードアウトが単純な系列集約法の中で最も有効な集約法であり、Transformer が GNN に対して補完的な情報を学習することを示している。