[論文レビュー] Rethinking Graph Transformers with Spectral Attention

Devin Kreuzer, Dominique Beaini+3 more|arXiv (Cornell University)|Jun 7, 2021

Advanced Graph Neural Networks参考文献 36被引用数 70

ひとこと要約

Spectral Attention Network (SAN) を導入し、学習可能なラプラス固有スペクトラムベースの位置エンコーディングを用いて完全連結グラフトランスフォーマーを実現し、標準的なグラフベンチマークで競争力のあるまたは最先端の結果を達成する。

ABSTRACT

In recent years, the Transformer architecture has proven to be very successful in sequence processing, but its application to other data structures, such as graphs, has remained limited due to the difficulty of properly defining positions. Here, we present the $\textit{Spectral Attention Network}$ (SAN), which uses a learned positional encoding (LPE) that can take advantage of the full Laplacian spectrum to learn the position of each node in a given graph. This LPE is then added to the node features of the graph and passed to a fully-connected Transformer. By leveraging the full spectrum of the Laplacian, our model is theoretically powerful in distinguishing graphs, and can better detect similar sub-structures from their resonance. Further, by fully connecting the graph, the Transformer does not suffer from over-squashing, an information bottleneck of most GNNs, and enables better modeling of physical phenomenons such as heat transfer and electric interaction. When tested empirically on a set of 4 standard datasets, our model performs on par or better than state-of-the-art GNNs, and outperforms any attention-based model by a wide margin, becoming the first fully-connected architecture to perform well on graph benchmarks.

研究の動機と目的

• グラフをハードな構造バイアスなしのデータとして動機づけ、メッセージパッシング型GNNの限界に対処する。
• ラプラス固有スペクトル全体を活用する学習可能なスペクトル位置エンコーディングを開発する。
• オーバースクワッシングを緩和する完全連結グラフトランスフォーマーアーキテクチャを作成する。
• 標準的なグラフベンチマークにおいて、SOTAのGNNと注意機構ベースのモデルと比較して経験的性能向上を示す。

提案手法

• グラフのラプラシアン固有関数から絶対的位置エンコーディングと相対的位置エンコーディングを定義する。
• スペクトル情報を固定サイズのノード埋め込みに射影するためのノード上の Learned Positional Encoding (LPE) トランスフォーマを提案する。
• LPE をノード特徴と結合し、完全グラフアテンションを伴う主なグラフトランスフォーマへ入力する。
• 疎なグラフエッジを扱い、可変ガンマパラメータを用いた完全グラフ接続を追加する二枝のアテンション機構を有効にする。
• 符号不変性を達成するエッジ毎の LPE 変種を任意に提示し、計算コストは高くなる。
• 理論的特性を論じる: WL テストを超える表現力と、完全結合によるオーバースクワッシングの低減。

実験結果

リサーチクエスチョン

• RQ1 ラプラシアン固有関数をどのように用いて、トランスフォーマー設定におけるグラフの効果的な位置エンコーディングを作成できるか。
• RQ2 スペクトルエンコーディングを用いた完全グラフアテンションは、従来のメッセージパッシングGNNと比べて表現力と性能を向上させるか。
• RQ3 ノード単位とエッジ単位の LPE、および疎結合 vs 完全アテンションの間のトレードオフ（計算コストと精度）は何か。
• RQ4 SAN は分子データセットと SBM データセットの標準ベンチマークで最先端の性能を達成できるか。

主な発見

• SAN は複数の標準グラフベンチマークで最先端と同等かそれを上回る。
• スペクトルエンコーディングを用いた完全グラフアテンションは、同等の疎メッセージパッシングモデルより経験的な利得を提供する。
• 分子データセットにおいて、サブ構造の検出のためノード単位の LPE が大きく寄与する。
• 提案手法は、試験済みデータセット全体で注意機構のみのベースラインを一貫して上回る。
• エッジ毎の LPE は符号不変性の利点を提供するが、計算コストは高くなる。
• SAN は、注意機構ベースのモデルと比較してグラフベンチマークで良好な性能を示した初の完全連結アーキテクチャとして報告されている。