[論文レビュー] Relational Attention: Generalizing Transformers for Graph-Structured Tasks

Cameron Diao, Ricky Loynd|arXiv (Cornell University)|Oct 11, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、自己注意機構にエッジベクトルを明示的に組み込むことで、トランスフォーマーの自己注意を一般化した関係的アテンションを導入する。これにより、トランスフォーマーはグラフ構造データを最初から扱えるモデルとして機能する。提案された関係的トランスフォーマー（RT）は、CLRS-30ベンチマークで最先端の性能を達成し、30の多様なアルゴリズム的推論タスクにおいて、特殊化されたグラフニューラルネットワーク（GNN）を上回る。これは、アテンション機構におけるグラフレベルの関係的インダクティブバイアスの優位性を示している。

ABSTRACT

Transformers flexibly operate over sets of real-valued vectors representing task-specific entities and their attributes, where each vector might encode one word-piece token and its position in a sequence, or some piece of information that carries no position at all. But as set processors, transformers are at a disadvantage in reasoning over more general graph-structured data where nodes represent entities and edges represent relations between entities. To address this shortcoming, we generalize transformer attention to consider and update edge vectors in each transformer layer. We evaluate this relational transformer on a diverse array of graph-structured tasks, including the large and challenging CLRS Algorithmic Reasoning Benchmark. There, it dramatically outperforms state-of-the-art graph neural networks expressly designed to reason over graph-structured data. Our analysis demonstrates that these gains are attributable to relational attention's inherent ability to leverage the greater expressivity of graphs over sets.

研究の動機と目的

• 標準的なトランスフォーマーがグラフ構造データの推論において、明示的な関係的インダクティブバイアスを欠いているという制限を解消すること。
• エッジベクトルをアテンションの第一義的要素として統合することで、トランスフォーマーのアーキテクチャを、グラフをネイティブに処理できるように一般化すること。
• 広範かつ困難なアルゴリズム的タスクのベンチマークを用いて、提案モデルの推論能力を評価すること。
• 関係的インダクティブバイアスが、グラフ構造の推論問題におけるモデルの表現力と性能を向上させることを実証すること。

提案手法

• ノードとエッジベクトルの両方を同時に注目できる、変更されたマルチヘッド自己注意機構である関係的アテンションを提案する。
• 各層がノードおよびエッジ表現を関係的アテンションを用いて更新する、グラフからグラフへのトランスフォーマー・アーキテクチャ、すなわち関係的トランスフォーマー（RT）を導入する。
• ノードおよびエッジの両方のクエリ、キー、値ベクトルを定義し、注目がエンティティ間の関係的特徴に依存することを可能にする。
• 標準的なトランスフォーマーと同様に、残差接続およびレイヤーナーマライゼーションを用いて学習の安定化を図る。
• 標準的な最適化手法を用いて、グラフ構造タスク上でエンドツーエンドにモデルを学習する。
• 提案されたRTの評価を可能にするために、CLRS-30ベンチマークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 エッジベクトルをネイティブに処理するトランスフォーマー基盤モデルが、特殊化されたGNNをアルゴリズム的推論タスクで上回ることができるか？
• RQ2 エッジに敏感なアテンションを用いて関係的インダクティブバイアスを統合することで、グラフ構造学習における一般化能力と推論能力が向上するか？
• RQ3 多様で困難なグラフ構造タスクにおいて、関係的トランスフォーマーは最先端のGNNと比較してどうなるか？
• RQ4 エッジベクトル統合は、集合ベースのトランスフォーマーと比較して、モデルの表現力をどの程度向上させるか？

主な発見

• 関係的トランスフォーマーは、CLRS-30ベンチマークで平均テストスコア66.18%という、新たな最先端の成績を達成し、すべてのベースラインGNNを大きく上回った。
• Topological Sortタスクにおいて、RTは80.62%を達成したのに対し、最良のベースラインGNN（PGN-m）は64.28%であった。これは、優れた推論能力を示している。
• Naïve String Matchタスクでは、RTが65.01%を達成し、次に良いモデル（PGN-m）の83.62%を大きく上回った。これは、複雑なパターンマッチングタスクにおける強みを示している。
• モデルは高いロバスト性を示し、全30のアルゴリズムで標準偏差29.6%を示したが、これは大多数のベースラインより低く、安定した性能を示している。
• Binary Searchタスクでは、RTが81.48%を達成した。これに対してGAT-v2は31.11%、MPNNは38.00%であった。これは、順序推論における優位性を確認している。
• RTは30のタスクのうち14つで最高スコアを記録し、DijkstraやFloyd-Warshallといった重要なアルゴリズム的問題においても同様に優れた性能を示した。これは、一般化能力の高さを証明している。