[論文レビュー] Transformer for Graphs: An Overview from Architecture Perspective

Erxue Min, Runfa Chen+8 more|arXiv (Cornell University)|Feb 17, 2022

Advanced Graph Neural Networks被引用数 73

ひとこと要約

Graph Transformerモデルの系統的な調査であり、GNNsを補助モジュールとして、強化された位置埋め込み、改良されたアテンション行列に分類し、グラフベンチマークを横断したアブレーション研究を実施する。

ABSTRACT

Recently, Transformer model, which has achieved great success in many artificial intelligence fields, has demonstrated its great potential in modeling graph-structured data. Till now, a great variety of Transformers has been proposed to adapt to the graph-structured data. However, a comprehensive literature review and systematical evaluation of these Transformer variants for graphs are still unavailable. It's imperative to sort out the existing Transformer models for graphs and systematically investigate their effectiveness on various graph tasks. In this survey, we provide a comprehensive review of various Graph Transformer models from the architectural design perspective. We first disassemble the existing models and conclude three typical ways to incorporate the graph information into the vanilla Transformer: 1) GNNs as Auxiliary Modules, 2) Improved Positional Embedding from Graphs, and 3) Improved Attention Matrix from Graphs. Furthermore, we implement the representative components in three groups and conduct a comprehensive comparison on various kinds of famous graph data benchmarks to investigate the real performance gain of each component. Our experiments confirm the benefits of current graph-specific modules on Transformer and reveal their advantages on different kinds of graph tasks.

研究の動機と目的

• 既存の Graph Transformerモデルを、グラフ情報をTransformersに注入する方法（GA、PE、AT）によって分類する。
• グラフレベルおよびノードレベルのタスクに対する代表的なグラフ認識コンポーネントの実際の性能向上を評価する。
• 異なるグラフタスクに対してどのアーキテクチャの選択が利益をもたらすかの指針を提供する。
• スケーラブルなGraph Transformer設計のための洞察と将来の方向性を提供する。

提案手法

• 20を超える Graph Transformerモデルを3つの統合カテゴリに分解する：GA (GNNs as auxiliary modules)、PE (improved graph-based positional embeddings)、AT (improved attention matrices)。
• 各カテゴリから代表的なコンポーネントを実装し、6つのグラフベンチマークでアブレーションを実施して利得を定量化する。
• 3つのGNN-Transformer構成でアーキテクチャを比較する：GNNブロック上のTransformerブロック、積み重ねたGNN/Transformerブロック、並列のGNN/Transformerブロック。
• 大規模グラフでノードレベルのタスクにはサブグラフサンプリングを用いてグラフ対応モジュールを有効にする。
• グラフレベルのタスク（ZINC, ogbg-molhiv, ogbg-molpcba）およびノードレベルのタスク（Flickr, ogbg-arxiv, ogbg-product）を評価する。
• 異なるタスクタイプに対してどのコンポーネントタイプがより大きな効果を生むかについて、統計的および定性的な分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 グラフ対応モジュールはグラフレベルおよびノードレベルのタスク全体で一貫してTransformerの性能を改善するだろうか？
• RQ2 どの統合戦略（GA、PE、AT）が最も信頼性の高い向上をもたらし、どのような条件下でそれが起こるか？
• RQ3 GAとATはPEよりもタスク全般で有利か、そしてタスクタイプは最適な選択に影響を与えるか？
• RQ4 大規模グラフに対するGraph Transformerをスケールさせる際の実用的な考慮事項は何か？

主な発見

• グラフ対応モジュールは一般にグラフレベルとノードレベルのタスクの両方でTransformerの性能を向上させる。
• GAおよびATの方法がPEより大きな向上を提供する傾向がある。
• サブグラフサンプリングの影響により、グラフレベルタスクの利得は通常ノードレベルタスクの利得より大きい。
• ほとんどのグラフレベルタスクでAT法が最良の性能を達成し、ノードレベルタスクではGA法がより優れることが多い。
• molpcbaでは、グラフ対応モジュールが標準のTransformerに対して最大56%の改善を示した。
• 異なるグラフタスクは異なるモジュール群から利益を得る（より広い利得にはGA/AT、PEは一貫して有利とは限らない）。