[論文レビュー] Graph External Attention Enhanced Transformer

Jianqing Liang, Min Chen+1 more|arXiv (Cornell University)|May 31, 2024

EEG and Brain-Computer Interfaces被引用数 4

ひとこと要約

本稿では、グラフ外部自己注意（GEA）機構を軽量に統合することで、グラフ間相関を組み込むことでグラフ表現学習を向上させる、新しいトランスフォーマーに基づくアーキテクチャであるGraph External Attention Enhanced Transformer（GEAET）を提案する。外部ノード／エッジのキー・バリュー単位を活用することで、GEAETはグラフ間のグローバルな構造的類似性を捉え、位置符号化への依存を軽減しつつ、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

The Transformer architecture has recently gained considerable attention in the field of graph representation learning, as it naturally overcomes several limitations of Graph Neural Networks (GNNs) with customized attention mechanisms or positional and structural encodings. Despite making some progress, existing works tend to overlook external information of graphs, specifically the correlation between graphs. Intuitively, graphs with similar structures should have similar representations. Therefore, we propose Graph External Attention (GEA) -- a novel attention mechanism that leverages multiple external node/edge key-value units to capture inter-graph correlations implicitly. On this basis, we design an effective architecture called Graph External Attention Enhanced Transformer (GEAET), which integrates local structure and global interaction information for more comprehensive graph representations. Extensive experiments on benchmark datasets demonstrate that GEAET achieves state-of-the-art empirical performance. The source code is available for reproducibility at: https://github.com/icm1018/GEAET.

研究の動機と目的

• 既存のグラフ表現モデルが内部グラフ構造にのみ注目し、グラフ間相関を無視するという限界を解消すること。
• GNNにおける長距離依存性のモデリングを改善し、過剰圧縮および過剰平滑化の問題を軽減すること。
• 位置符号化に強く依存せずに、グラフ間の構造的類似性を暗黙的に学習できる自己注意メカニズムを設計すること。
• 局所的な構造的情報とグローバルなグラフ間相互作用を統合し、より包括的なグラフ表現を実現すること。
• 解釈可能性と効率性を維持したまま、標準的なグラフベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 他のグラフからの外部キー・バリュー単位を用いてグラフ間相関をモデル化する、新しい自己注意メカニズムであるGraph External Attention（GEA）を提案する。
• クエリベクトルは1つのグラフから得られ、キー・バリューパairedは外部の複数のグラフから抽出される、マルチヘッド自己注意機構を導入する。
• 局所的構造学習にGCNまたはGINエンコーダーを用い、グローバル相互作用モデリングにGEAモジュールを統合したハイブリッドアーキテクチャであるGEAETを設計する。
• ノードおよびエッジ用の学習可能な外部キー・バリュー単位を採用し、モデルがグラフ間の構造的類似性を暗黙的に捉えることを可能にする。
• 外部自己注意による構造的類似性の活用によって、位置符号化への依存を軽減し、一般化性能を向上させる。
• GCNとアテンションブロックを並列に配置したアーキテクチャを採用し、局所的およびグローバル表現の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラフ内メッセージスティングを超えて、グラフ間構造的相関をモデル化することで、グラフ表現学習が向上するか？
• RQ2 標準的な自己注意と比較して、Graph External Attentionは性能および位置符号化への依存性においてどのように異なるか？
• RQ3 GEAETは、長距離依存性タスクにおけるGNNの過剰圧縮問題をどの程度軽減できるか？
• RQ4 外部ノード、エッジ、共有キー・バリュー単位が全体のモデル性能にどの程度寄与しているか？
• RQ5 グローバルなグラフ間アテンションの統合により、標準的なグラフベンチマークで最先端の性能が達成されるか？

主な発見

• GEAETは、ZINC、Peptides-Struct、TreeNeighbourMatchを含む複数のベンチマークデータセットで最先端の性能を達成した。
• 長距離依存性タスクにおいて、標準的なトランスフォーマーおよびGNNを上回り、木の深さr=7まで効果的に一般化できたが、GNNはr=4で失敗した。
• 位置符号化への依存が著しく軽減された：GEAETは位置符号化を一切使用しない状態でも優れた性能を発揮したが、トランスフォーマーはこれにより著しく性能を落とした。
• アブレーションスタディの結果、外部ノード、エッジ、共有単位のすべてのコンponentsが性能向上に寄与しており、フル構成ではMNISTで98.513%、PATTERNで86.993%の精度を達成した。
• GEANetでは8ヘッドのアテンションが最良の性能を示したが、トランスフォーマーは1ヘッドで最良であった。これは、アテンションメカニズムに異なるインダクティブバイアスが存在することを示唆している。
• ラプラシアン位置符号化はGEANetの性能をわずかに向上させたが、ランダムウォーク位置符号化は性能を低下させた。これにより、GEANetがこのような符号化にあまり依存しないことがさらに明確になった。