[論文レビュー] Pure Transformers are Powerful Graph Learners

Jinwoo Kim, Tien Dat Nguyen+5 more|arXiv (Cornell University)|Jul 6, 2022

Advanced Graph Neural Networks被引用数 57

ひとこと要約

この論文は、標準的な Transformer が、単純なノード/エッジ token 埋め込みを用いることで、GNNs と同等またはそれ以上の性能でグラフを学習し、グラフ特有の Transformer にも匹敵しうることを示しており、強力な理論的表現力と PCQM4Mv2 での競争力ある結果を示す。

ABSTRACT

We show that standard Transformers without graph-specific modifications can lead to promising results in graph learning both in theory and practice. Given a graph, we simply treat all nodes and edges as independent tokens, augment them with token embeddings, and feed them to a Transformer. With an appropriate choice of token embeddings, we prove that this approach is theoretically at least as expressive as an invariant graph network (2-IGN) composed of equivariant linear layers, which is already more expressive than all message-passing Graph Neural Networks (GNN). When trained on a large-scale graph dataset (PCQM4Mv2), our method coined Tokenized Graph Transformer (TokenGT) achieves significantly better results compared to GNN baselines and competitive results compared to Transformer variants with sophisticated graph-specific inductive bias. Our implementation is available at https://github.com/jw9730/tokengt.

研究の動機と目的

• 手作業で設計されたグラフの帰納バイアスを用いず、グラフ学習のために純粋な Transformer アーキテクチャの利用を動機づける。
• TokenGT が少なくとも 2-IGN および WL-2 と同等以上の表現力を持つことを示す理論的保証を提供し、ハイパーグラフ上で k-IGN / k-WL へ拡張する。
• ノードとエッジをトークンとして扱い、ノード識別子とタイプ識別子で拡張して TokenGT を開発する。
• 大規模グラフ（PCQM4Mv2）で TokenGT を経験的に検証し、GNN ベースラインおよびグラフ認識トランスフォーマーと比較する。

提案手法

• グラフのすべてのノードとエッジを独立したトークンとして扱い、トークンごとの埋め込み（ノード識別子と学習可能なタイプ識別子）で拡張する。
• 拡張されたトークン集合に対して標準的な Transformer エンコーダを用い、グラフレベルの予測のために追加の [graph] トークンを設ける。
• 適切なトークン埋め込みがあれば自己注意は任意の置換同変線形演算子を近似でき、グラフに対して少なくとも 2-IGN の表現力を、ハイパーグラフには k-IGN をもたらすことを証明する。
• 実用的なノード識別子スキームを2つ提供する：正交ノード識別子（ORFs）とラプラシアン固有ベクトル、およびラプラシアンベースの埋め込みがグラフ的位置情報を提供する。
• TokenGT がカーネル注意などの効率的な Transformer 変種を活用でき、性能を犠牲にしないことを示す。

実験結果

リサーチクエスチョン

• RQ1 単純な識別子で拡張されたノードとエッジのトークンを与えた標準的な Transformer は、GNN に用いられるグラフ特有の帰納バイアスと同等またはそれを超えることができるか。
• RQ2 IGNs および WL テストと比較した TokenGT の理論的表現力はどの程度か。
• RQ3 大規模グラフベンチマーク（例：PCQM4Mv2）での TokenGT のパフォーマンスは、GNN ベースラインおよびグラフ強化トランスフォーマーと比較してどうか。
• RQ4 順序 k のトークン埋め込みは TokenGT を高次グラフ/ハイパーグラフへと拡張し、対応する表現力（k-IGN, k-WL）をもたらすか。

主な発見

• ノードとタイプ識別子を用いた標準的な Transformer は、証明可能な限り少なくとも 2-IGN と同等以上の表現力をもち、従って 2-WL テストと同等以上で、すべてのメッセージパッシング GNN より表現力が高い。
• TokenGT は PCQM4Mv2 で GNN ベースラインより著しく良い結果を達成し、グラフ特有の帰納バイアスを用いる Transformer 変种と競合する。
• 理論的結果はハイパーグラフにも拡張され、順序 k の TokenGT が少なくとも k-IGN および k-WL と同等以上の表現力を持つことを示す。
• 実証的研究は、適切な補助的なノード/タイプ情報を与えれば自己注意がグラフ演算子に必要な等価変換基底を近似できることを示している。
• カーネル注意などの変種を備えたトランスフォーマは、性能の大幅な低下なしに計算コストを削減するために使用できる。