[論文レビュー] Edge-augmented Graph Transformers: Global Self-attention is Enough for Graphs.

Md. Shamim Hussain, Mohammed J. Zaki+1 more|arXiv (Cornell University)|Aug 7, 2021

Advanced Graph Neural Networks参考文献 53被引用数 16

ひとこと要約

本論文は、残差エッジチャネルを導入することで、グラフ構造情報を直接処理できるようにした新規フレームワーク、エッジ拡張型グラフトランスフォーマー（EGT）を提案する。ノード間のグローバル自己注意機構と層を跨ぐエッジ特徴の進化を可能にすることで、EGTはグラフベンチマークで最先端の性能を達成し、畳み込みによる誘導的バイアスを必要とせずに、グローバル注意機構が局所的メッセージパッシングGNNを上回ることを示している。

ABSTRACT

Transformer neural networks have achieved state-of-the-art results for unstructured data such as text and images but their adoption for graph-structured data has been limited. This is partly due to the difficulty of incorporating complex structural information in the basic transformer framework. We propose a simple yet powerful extension to the transformer - residual edge channels. The resultant framework, which we call Edge-augmented Graph Transformer (EGT), can directly accept, process and output structural information as well as node information. It allows us to use global self-attention, the key element of transformers, directly for graphs and comes with the benefit of long-range interaction among nodes. Moreover, the edge channels allow the structural information to evolve from layer to layer, and prediction tasks on edges/links can be performed directly from the output embeddings of these channels. In addition, we introduce a generalized positional encoding scheme for graphs based on Singular Value Decomposition which can improve the performance of EGT. Our framework, which relies on global node feature aggregation, achieves better performance compared to Convolutional/Message-Passing Graph Neural Networks, which rely on local feature aggregation within a neighborhood. We verify the performance of EGT in a supervised learning setting on a wide range of experiments on benchmark datasets. Our findings indicate that convolutional aggregation is not an essential inductive bias for graphs and global self-attention can serve as a flexible and adaptive alternative.

研究の動機と目的

• 標準トランスフォーマーが構造的情報を十分に組み込めていないため、グラフ構造データを処理する能力に制限があることの是正。
• エッジチャネルを介して構造的特徴を直接符号化・進化させることで、グラフ学習におけるグローバル自己注意機構の実装。
• グローバル注意機構が、局所的メッセージパッシングの誘導的バイアスの代替として柔軟かつ効果的であることを示すこと。
• グラフの特徴を捉えるための一般化された位置エンコーディングを特異値分解（SVD）を用いて開発すること。
• グローバル特徴集約による自己注意機構が、グラフベンチマークデータセットにおいて局所的集約を上回ることの検証。

提案手法

• トランスフォーマー層を跨いで構造的情報を保持・更新する残差エッジチャネルを導入し、ノード特徴とエッジ特徴の両方から学習できるようにする。
• 標準の自己注意機構を拡張し、クエリ、キー、バリューの計算にエッジ特徴を組み込むことで、注意機構が構造的文脈に注目できるようにする。
• グラフラプラシアンの特異値分解（SVD）に基づく一般化された位置エンコーディングを採用し、ノード表現に構造的誘導的バイアスを組み込む。
• 従来のGNNが用いる局所的近傍集約の代わりに、グローバルなノード特徴集約を自己注意機構で実現する。
• ノード特徴とエッジ特徴をエンドツーエンドで処理し、エッジチャネルの出力を直接リンクレベルのタスク予測に利用できるようにする。
• ノード予測およびリンク予測タスクにおいて、標準的な交差エントロピー損失または回帰損失を用いた教師あり学習でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 構造的情報を直接組み込むことで、トランスフォーマーにおけるグローバル自己注意機構をグラフ構造データに効果的に適応できるか。
• RQ2 残差エッジチャネルの使用により、局所的メッセージパッシングと比較して、グラフ内の長距離依存関係のモデリングが向上するか。
• RQ3 SVDに基づく一般化された位置エンコーディングが、グラフレベルの注意機構の性能向上に寄与するか。
• RQ4 グローバル自己注意機構がグラフ表現学習に十分であり、畳み込み型の局所的誘導的バイアス（例：畳み込みによるメッセージパッシング）が不要になるか。
• RQ5 標準グラフベンチマークにおいて、局所的集約に依存する最先端のGNNと比較して、EGTの性能はどの程度か。

主な発見

• EGTは、複数のベンチマークグラフデータセットで最先端の性能を達成し、局所的メッセージパッシングに依存する既存のGNNを上回っている。
• グローバル自己注意機構のおかげで、遠く離れたノード間の有効な相互作用が可能となり、長距離依存関係のモデリングが優れている。
• エッジチャネルにより、学習済みのエッジ表現から直接リンクレベルのタスクを予測でき、後処理の必要がなくなる。
• SVDに基づく位置エンコーディングは、全評価データセットで性能向上を示しており、構造的誘導的バイアスを効果的に捉えていることが示唆される。
• EGTは、グローバル注意機構がGNNにおける局所的誘導的バイアスを代替可能であることを示しており、グラフ学習における畳み込み型誘導的バイアスの必要性に疑問を呈する。
• アブレーションスタディの結果、エッジチャネルとグローバル注意機構が重要な構成要素であり、それらを削除すると性能が著しく低下することが確認された。