[論文レビュー] Do Transformers Really Perform Bad for Graph Representation?

Chengxuan Ying, Tianle Cai+6 more|arXiv (Cornell University)|Jun 9, 2021

Advanced Graph Neural Networks参考文献 62被引用数 126

ひとこと要約

Graphormer は、グラフ専用の構造エンコードを備えたプレーンな Transformer アーキテクチャが、OGB-LSC を含む主要なグラフ表現ベンチマークで最先端の結果を達成することを示しています。

ABSTRACT

The Transformer architecture has become a dominant choice in many domains, such as natural language processing and computer vision. Yet, it has not achieved competitive performance on popular leaderboards of graph-level prediction compared to mainstream GNN variants. Therefore, it remains a mystery how Transformers could perform well for graph representation learning. In this paper, we solve this mystery by presenting Graphormer, which is built upon the standard Transformer architecture, and could attain excellent results on a broad range of graph representation learning tasks, especially on the recent OGB Large-Scale Challenge. Our key insight to utilizing Transformer in the graph is the necessity of effectively encoding the structural information of a graph into the model. To this end, we propose several simple yet effective structural encoding methods to help Graphormer better model graph-structured data. Besides, we mathematically characterize the expressive power of Graphormer and exhibit that with our ways of encoding the structural information of graphs, many popular GNN variants could be covered as the special cases of Graphormer.

研究の動機と目的

• トランスフォーマーがグラフ表現学習において競争力を持つことを示す。
• グラフ構造をトランスフォーマーのアテンションへ注入する構造エンコーディングを導入する。
• Graphormer の表現力が一般的な GNN を包含することを示す理論的分析を提供する。
• OGB-LSC、MolPCBA、MolHIV、ZINC などの大規模および標準的なグラフベンチマークで経験的に検証する。

提案手法

• Graphormer を提案する。グラフに適応した標準的な Transformer で、三つの構造エンコーディング（Centrality Encoding、Spatial Encoding、Edge Encoding）を備える。
• Centrality Encoding は入力時にノード特徴量へ次数ベースの埋め込みを追加し、アテンションに情報を与える。
• Spatial Encoding はグラフベースのノード対関係（例: 最短経路距離）から導出された学習可能なスカラー b_{φ(v_i,v_j)} によってアテンションをバiasする。
• Edge Encoding は最短経路に沿ったエッジ特徴を、パス全体で集約されたバIAS c_{ij} を介してアテンションへ組み込む。
• すべてのノードと接続された特別な [VNode] トークンを導入し、グラフレベルの Readout をサポートする。NLP モデルの [CLS] に類似。
• Pre-LN 設定の Transformer エンコーダブロックと [VNode] での Readout を用いる。
• 提案されたエンコーディングの下で Graphormer が GNN の集約/結合を模倣でき、1-WL の表現力を超えることを示す理論的結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 グラフ認識構造エンコーディングを備えたベーシックな Transformer は、グラフレベル予測タスクで従来の GNN と同等かそれを上回ることができるか？
• RQ2 Centrality Encoding、Spatial Encoding、Edge Encoding は Graphormer の性能と表現力にどのように寄与するか？
• RQ3 Graphormer は共通の GNN 変種（たとえば GCN、GIN）を特殊ケースとして包含するだけの表現力を持つか？
• RQ4 アブレーション後の Graphormer の大規模グラフベンチマーク（例: OGB-LSC PCQM4M-LSC）および標準ベンチマーク（MolPCBA、MolHIV、ZINC）での性能はどうか？

主な発見

データセット	手法	パラメータ	Train MAE / AUC / AP	Validate MAE / AUC / AP
PCQM4M-LSC	Graphormer	12.5M	0.0778	0.1264
PCQM4M-LSC	Graphormer	-	-	0.1234
PCQM4M-LSC	GIN-VN (baseline)	6.7M	0.1150	0.1395 (0.1396*)
MolPCBA	Graphormer- FLAG	119.5M	-	31.39 ±0.32
MolHIV	Graphormer- FLAG	47.0M	-	80.51 ±0.53
ZINC	Graphormer_SLIM	489,321	0.122 ±0.006	-

• 提案されたエンコードを用いた Graphormer は、大規模および標準的なグラフベンチマークで最先端または競争的な結果を達成する。
• PCQM4M-LSC では、Graphormer（full）は validate MAE が 0.1234 で、多くの GNN ベースラインよりはるかに優れる。Graphormer Small も 0.1264 の validate MAE で高性能。
• FLAG 増強を用いて MolPCBA (AP 31.39 ±0.32) および MolHIV (AUC 80.51 ±0.53) で従来の SOTA GNN を上回る。
• ZINC では Graphormer-SLIM が 0.122 ±0.006 MAE を達成し、いくつかの従来 GNN および Transformer ベースの競合を上回る。
• アブレーション研究により Spatial Encoding と Centrality Encoding の性能向上が顕著であること、アテンションバIAS による Edge Encoding がさらなる利得をもたらすことが示される。
• 実験は、適切なエンコーディングと重みの下で多くの人気 GNN 変種が Graphormer の特殊ケースとして回復できることを示している。