[論文レビュー] Towards Mechanistic Interpretability of Graph Transformers via Attention Graphs

Batu El, Deepankar Choudhury+2 more|ArXiv.org|Feb 17, 2025

Advanced Graph Neural Networks被引用数 3

ひとこと要約

Attention Graphsを導入し、注意マトリクスを統合した情報フローグラフを通じてグラフニューラルネットワークとグラフトランスフォーマーを機械的に解釈する。学習済みの注意パターンが入力グラフのトポロジーとどのように関連するかを、同質性・異質性グラフの両方で分析する。

ABSTRACT

We introduce Attention Graphs, a new tool for mechanistic interpretability of Graph Neural Networks (GNNs) and Graph Transformers based on the mathematical equivalence between message passing in GNNs and the self-attention mechanism in Transformers. Attention Graphs aggregate attention matrices across Transformer layers and heads to describe how information flows among input nodes. Through experiments on homophilous and heterophilous node classification tasks, we analyze Attention Graphs from a network science perspective and find that: (1) When Graph Transformers are allowed to learn the optimal graph structure using all-to-all attention among input nodes, the Attention Graphs learned by the model do not tend to correlate with the input/original graph structure; and (2) For heterophilous graphs, different Graph Transformer variants can achieve similar performance while utilising distinct information flow patterns. Open source code: https://github.com/batu-el/understanding-inductive-biases-of-gnns

研究の動機と目的

• GNNとGraph Transformerの機械的解釈可能性を、情報の流れの代理として注意を用いて動機づけ・形式化する。
• Attention Graphsを開発し、マルチヘッド・マルチレイヤーの注意を単一の解釈可能な表現に統合する。
• さまざまなグラフの帰納的バイアス（疎/密、固定/学習可能な注意）がおよぼす情報フローと、異なる同質性のデータセットで入力グラフ構造への依存度を調べる。

提案手法

• GNN/GTのメッセージパッシングを自己注意機構に対応付け、各層・ヘッドごとに注意マトリクスを定義する。
• グラフトランスフォーマーの設計空間を、注意のスパースさ（疎 vs 密）とパラメータ化（定数 vs 学習）で定義する（SC、SL、DLB、DL）。
• 層ごとに単純な平均化でヘッド間の注意を集約し、 layer-wise A_lを形成する。
• 層間の集約をマトリクス乗算で行い、A_Agg = A_L2 A_L1を用いて多段情報フローを捉える。
• Attention Graphsをしきい値処理して準隣接行列を構築し、構造復元の指標としてF1スコアを用いて入力グラフと比較する。
• 同質性・異質性グラフを含む7つのノード分類データセットで、1–2層・1–2ヘッドの構成を用い、PyTorch TransformerEncoderでアーキテクチャを実装する実験を行う。

実験結果

リサーチクエスチョン

• RQ1 複数ヘッド・複数層の注意マトリクスをどのように統合して、GNN/GTの情報フローを捉える単一のAttention Graphとするか？
• RQ2 異なるGraph Transformerの帰納的バイアス（SC、SL、DLB、DL）は、入力グラフ構造への依存度と情報フローのパターンにどのように影響し、同質・異質グラフでどう異なる動作をするか？
• RQ3 学習済み注意によってGraph Transformerは入力グラフ構造を回復できるか、深さはこれにどう影響するか？

主な発見

• Attention Graphsは、注意が入力グラフに制約されていない場合、学習済みの情報フローが入力トポロジーと乖離することを示す（同質・異質グラフの双方で）。
• 異質性グラフでは、異なるGTバリアントが類似の性能を達成する一方で、異なる情報フローパターンを用い、基盤となるアルゴリズムの多様性を示す。
• DLモデルはノード全体に注意を分散させる密集型の注意と参照ノードパターンを示す傾向があるのに対し、DLBモデルは局所性と自己注意を強く示し、異なる計算戦略を示唆する。
• DLモデルは入力グラフ構造の回復でF1スコアが低い（<4%）のに対し、DLBモデルは中〜高いF1スコア（28-86%）を達成し、深さが増すと低下する。
• ヘッド間を単純平均で集約することは、主要な信号を失うことなく全体の情報フローを効果的に捉える。
• 層間をマトリクス乗算で集約することで、間接的な多段階情報フローを捕らえ、情報が連続する層をどのように伝播するかを示す。