[論文レビュー] How Expressive are Transformers in Spectral Domain for Graphs?

Anson Bastos, Abhishek Nadgeri+4 more|arXiv (Cornell University)|Jan 23, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、グラフスペクトル全体にわたるアテンションを可能にするスペクトルドメインアテンション機構FeTAを提案する。これにより、元来のTransformerが高周波数グラフ信号を捉える能力に欠けるという根本的制限を克服する。理論的分析により、Transformerにおける空間的アテンションは低域フィルタリングに制限されることが示され、FeTAはタスク固有のスペクトルアテンションを学習することで、グラフ分類、回帰、ノード分類のベンチマークで優れた性能を達成する。

ABSTRACT

The recent works proposing transformer-based models for graphs have proven the inadequacy of Vanilla Transformer for graph representation learning. To understand this inadequacy, there is a need to investigate if spectral analysis of the transformer will reveal insights into its expressive power. Similar studies already established that spectral analysis of Graph neural networks (GNNs) provides extra perspectives on their expressiveness. In this work, we systematically study and establish the link between the spatial and spectral domain in the realm of the transformer. We further provide a theoretical analysis and prove that the spatial attention mechanism in the transformer cannot effectively capture the desired frequency response, thus, inherently limiting its expressiveness in spectral space. Therefore, we propose FeTA, a framework that aims to perform attention over the entire graph spectrum (i.e., actual frequency components of the graphs) analogous to the attention in spatial space. Empirical results suggest that FeTA provides homogeneous performance gain against vanilla transformer across all tasks on standard benchmarks and can easily be extended to GNN-based models with low-pass characteristics (e.g., GAT).

研究の動機と目的

• Transformerのスペクトルドメインにおける表現力の理論的分析を目的とし、グラフ表現学習におけるTransformerのスペクトルドメインにおける表現力の理論的分析を目的とする。
• 空間的アテンションの根本的制限を同定する。具体的には、固有の低域フィルタリングの特性により、特定の周波数成分に選択的にアテンションを向けることができない点を特定する。
• グラフラプラシアンの固有ベクトル（周波数成分）を用いて、全スペクトルにわたるアテンションを実行するフレームワークであるFeTAを提案する。
• FeTAの一般化能力を検証するため、GATなどの低域フィルタリング特性を持つ低域GNNに統合し、性能向上を示す。
• 既存の位置エンコーディング方式との互換性を調査し、空間エンコーディング手法に対して直交的な向上効果を示す。

提案手法

• グラフスペクトル理論を用いて、Transformerにおける空間的およびスペクトル的ドメインの等価性を形式的に確立する。
• 理論的に、Transformerにおける空間的アテンションが低域周波数応答に制限されることを証明する。これにより、スペクトル空間における表現力が制限される。
• グラフラプラシアンの固有ベクトル（周波数成分）を用いて自己アテンションを実行するFeTAを設計する。これにより、全スペクトルにわたるアテンションが可能になる。
• 低域フィルタリング特性を持つGNN（例：GAT）にFeTAを統合し、そのスペクトルモデリング能力を向上させる。
• 固有モードにおける学習されたアテンション重みを用いて、全周波数範囲にわたる信号の動的フィルタリングを実現し、タスク固有のスペクトルフィルタリングを可能にする。
• ZINC、MolHIV、PATTERN、CLUSTERを含む複数のグラフベンチマークで、アブレーションスタディおよび比較実験を通じてFeTAの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフ表現学習におけるTransformerについて、空間的ドメインとスペクトル的ドメインの間に正式な等価性が存在するか？
• RQ2 Transformerのスペクトルドメインにおける表現力は何か？ また、固有の低域フィルタリング特性により、周波数成分に制限されたアテンションが必然的に生じるのか？
• RQ3 スペクトルドメインアテンション機構は、グラフにおける空間的アテンションの制限を克服できるか？
• RQ4 FeTAは、多様なグラフ学習タスクにおいて、元来のTransformerやGNNと比較してどのように性能を発揮するか？
• RQ5 既存の位置エンコーディング方式はFeTAとどの程度相性が良く、FeTAはそれらと直交的に向上効果をもたらすか？

主な発見

• 理論的分析により、Transformerにおける空間的アテンション機構が固有に低域周波数応答に制限されることを確認した。これにより、スペクトル空間における表現力が制限される。
• FeTAは、全評価済みのグラフ分類、回帰、ノード分類ベンチマークで、元来のTransformerを常に上回る性能を達成した。
• GATなどの低域フィルタリングGNNに統合した場合、FeTAは全スペクトルアテンションを可能にすることで、顕著な性能向上を示し、一般化能力を実証した。
• スペクトル空間におけるアテンションヒートマップの分析から、FeTAはタスクのニーズに応じて、局所的クラスタ（低域フィルタリング動作）と長距離相互作用（高域フィルタリング動作）の両方を学習してアテンションすることがわかった。
• 位置エンコーディング方式はデータセット間で一般化されないが、FeTAは、最先端アーキテクチャにおける元来のTransformerに置き換えることで、一貫して性能向上を示した。これは、直交的な向上効果を示している。
• 解釈可能性分析により、FeTAのスペクトルアテンションは、ノードのスペクトル的位置に基づいてノードを集約することを意味的に解釈可能であることがわかった。低周波数成分は局所的同型性を強調し、高周波数成分は長距離相互作用を可能にする。