[論文レビュー] Recipe for a General, Powerful, Scalable Graph Transformer

Ladislav Rampášek, Mikhail Galkin+4 more|arXiv (Cornell University)|May 25, 2022

Advanced Graph Neural Networks被引用数 225

ひとこと要約

GPS を提案する。局所的な MPNN のメッセージ伝搬とグローバルなリニア注意を組み合わせた、線形計算量のモジュラーなグラフTransformerの設計図で、16 のベンチマークで最新手法と競合する性能を達成。

ABSTRACT

We propose a recipe on how to build a general, powerful, scalable (GPS) graph Transformer with linear complexity and state-of-the-art results on a diverse set of benchmarks. Graph Transformers (GTs) have gained popularity in the field of graph representation learning with a variety of recent publications but they lack a common foundation about what constitutes a good positional or structural encoding, and what differentiates them. In this paper, we summarize the different types of encodings with a clearer definition and categorize them as being $ extit{local}$, $ extit{global}$ or $ extit{relative}$. The prior GTs are constrained to small graphs with a few hundred nodes, here we propose the first architecture with a complexity linear in the number of nodes and edges $O(N+E)$ by decoupling the local real-edge aggregation from the fully-connected Transformer. We argue that this decoupling does not negatively affect the expressivity, with our architecture being a universal function approximator on graphs. Our GPS recipe consists of choosing 3 main ingredients: (i) positional/structural encoding, (ii) local message-passing mechanism, and (iii) global attention mechanism. We provide a modular framework $ extit{GraphGPS}$ that supports multiple types of encodings and that provides efficiency and scalability both in small and large graphs. We test our architecture on 16 benchmarks and show highly competitive results in all of them, show-casing the empirical benefits gained by the modularity and the combination of different strategies.

研究の動機と目的

• グラフ Transformer の位置情報・構造エンコーディング (PE/SE) を、局所・グローバル・相対のカテゴリに分けて明確化・分類する。
• 局所的なメッセージ伝搬とグローバルな注意機構を統合して、グラフで線形計算量を実現する GPS の設計図を提案する。
• 多様なベンチマークで競争力のある性能を維持しつつ、大規模グラフへのスケーラビリティを実証する。
• PE/SE、MPNN、グローバル注意成分の寄与を理解するための包括的なアブレーション研究を提供する。
• データセットを横断したモジュールな実験を可能にするオープンソースの GraphGPS 実装を提供する。

提案手法

• GPS の三部構成のレシピを定義する：(i) ノード・エッジ・グラフ特徴と位置/構造エンコーディングを集約する埋め込みモジュール、(ii) 局所的な MPNN チャンネルとグローバル注意を組み合わせる処理モジュール、(iii) さまざまな PE/SE、MPNN、注意の選択肢を可能にするモジュール式フレームワーク。
• グローバル注意成分には線形時間の注意機構（Performer または BigBird）を用いて O(N+E) の計算量を実現し、全体の O(N^2) 注意を回避する。
• GPS 層ごとに局所的な MPNN のパスとグローバル注意のステップを交互に実行し、MLP で統合する。
• エッジ情報がMPNN+Transformerハイブリッド内のノード特徴を介して伝播可能であると主張し、表現力を保つ。
• エッジ情報の伝播を可能にし、ラプラシアン固有ベクトルを活用することで、GPS がグラフ上の普遍近似関数になることの理論的正当性を提供する。
• PyG と GraphGym 上に構築された GraphGPS パッケージで GPS を実装し、モジュール実験を可能にする。）

実験結果

リサーチクエスチョン

• RQ1 ローカル/グローバル/相対のカテゴリに整理されたモジュラーな PE/SE エンコーディングは、グラフ Transformer の表現力と一般化を向上させるか？
• RQ2 局所的な MPNN 集約をグローバルな線形注意から分離することで、大規模グラフでスケーラブルで競争力のあるグラフ Transformer の性能を実現できるか？
• RQ3 多様なベンチマークにおける性能に対する各 GPS コンポーネント（PE/SE、MPNN、グローバル注意）の寄与はどの程度か？
• RQ4 GPS は線形時間注意を用いてグラフ上の普遍近似性を達成できるか？

主な発見

• GPS は ZINC、MNIST、CIFAR10、PATTERN、CLUSTER、そして OGB のタスクを含む 16 ベンチマークで最先端手法に競る性能を達成。
• アブレーションは、ほとんどのデータセットに対して MPNN モジュールの必須性と Transformer 風のグローバル注意の利点を示している。
• RWSE および SignNet ベースのエンコーディングは一貫した利得を提供し、データセット依存の最適なエンコーディングが観察される。
• 線形スケールのグローバル注意（Performer）は、何千ノードのグラフへ拡張しつつ強力な性能を維持できる。
• GPS は大規模な PCQM4Mv2 および MalNet-Tiny で強力な結果を示し、スケーラビリティとパラメータ数を抑えつつ競争力のある精度を示す。
• このアプローチはノード表現を介してエッジ情報を保持し、グラフ上の普遍近似性の主張を裏付ける。