[論文レビュー] GraphiT: Encoding Graph Structure in Transformers

Grégoire Mialon, Dexiong Chen+2 more|arXiv (Cornell University)|Jun 10, 2021

Advanced Graph Neural Networks参考文献 29被引用数 42

ひとこと要約

グラフィTは、カーネルベースの相対位置エンコーディングと局所的なサブ構造（GCKN）特徴で拡張されたバニラトランスフォーマーがグラフタスクでGNNを上回ることを示し、ベンチマーク全体で競争力のあるまたは優れた結果を達成し、解釈可能なアテンション駆動モチーフを提供します。

ABSTRACT

We show that viewing graphs as sets of node features and incorporating structural and positional information into a transformer architecture is able to outperform representations learned with classical graph neural networks (GNNs). Our model, GraphiT, encodes such information by (i) leveraging relative positional encoding strategies in self-attention scores based on positive definite kernels on graphs, and (ii) enumerating and encoding local sub-structures such as paths of short length. We thoroughly evaluate these two ideas on many classification and regression tasks, demonstrating the effectiveness of each of them independently, as well as their combination. In addition to performing well on standard benchmarks, our model also admits natural visualization mechanisms for interpreting graph motifs explaining the predictions, making it a potentially strong candidate for scientific applications where interpretation is important. Code available at https://github.com/inria-thoth/GraphiT.

研究の動機と目的

• グラフ構造データのためのトランスフォーマーアーキテクチャを伝統的なGNNの代替として動機づける。
• トランスフォーマーにグラフ構造を注入する方法を、位置エンコーディングと局所的サブ構造特徴を通じて開発する。
• カーネルベースの相対位置エンコーディングとGCKN由来の特徴が分類・回帰ベンチマークに及ぼす影響を評価する。
• アテンションを解釈する視覚化技術を提供し、意味のあるグラフモチーフを同定する。）

提案手法

• バニラのトランスフォーマーエンコーダを用いてノード特徴でグラフを処理する。
• 正定性カーネルをグラフ上のアテンションに用いて相対位置エンコーディングを導入する（例: 輻射拡散、ランダムウォークカーネル）。
• Graph Convolutional Kernel Networks (GCKN) のパス特徴による局所サブ構造表現でノード特徴を豊かにする。
• 相対位置エンコーディングと構造認識ノード特徴を組み合わせ、LaplacianベースのLapPEおよびGCKNベースラインと比較する。
• グローバル対ローカルアテンション（全通信対近傍型集約）とデータセット間のアブレーションを実験する。
• アテンションに基づく可視化を提供し、判別的なグラフモチーフとサブ構造を特定する。

実験結果

リサーチクエスチョン

• RQ1 バニラのトランスフォーマーが、適切なグラフ対応の位置エンコーディングを用いた場合、グラフ分類および回帰タスクでGNNを上回ることができるか？
• RQ2 カーネルベースの相対位置エンコーディングは、グラフに対するラプラシアンベースの絶対位置エンコーディング（LapPE）より優れているか？
• RQ3 どの組み合わせの構造エンコードと相対位置エンコーディングが、データセット全体で最高の性能を発揮するか？
• RQ4 アテンションスコアは、化学や生物学で既知のサブ構造と一致する意味のあるグラフモチーフを示すか？

主な発見

手法 / データセット	MUTAG	PROTEINS	PTC	NCI1	ZINC（エッジ特徴なし）
MF [11]	81.5 b1 11.0	71.9 b1 5.2	57.3 b1 6.9	80.6 b1 2.5	0.387 b1 0.019
GCN [18]	78.9 b1 10.1	75.8 b1 5.5	54.0 b1 6.3	75.9 b1 1.6	0.367 b1 0.011
GAT [37]	80.3 b1 8.5	74.8 b1 4.1	55.0 b1 6.0	76.8 b1 2.1	0.384 b1 0.007
GIN [40]	82.6 b1 6.2	73.1 b1 4.6	55.0 b1 8.7	81.7 b1 1.7	0.387 b1 0.015
GCKN-subtree [7]	87.8 b1 9.4	72.0 b1 3.7	62.1 b1 6.4	79.6 b1 1.8	0.474 b1 0.001
[12]	79.3 b1 11.6	65.8 b1 3.1	58.4 b1 8.2	78.9 b1 1.1	0.359 b1 0.014
[12] + LapPE	83.9 b1 6.5	70.1 b1 3.2	57.7 b1 3.1	80.0 b1 1.9	0.323 b1 0.013
Transformers (T)	82.2 b1 6.3	75.6 b1 4.9	58.1 b1 10.5	70.0 b1 4.5	0.696 b1 0.007
T + LapPE	85.8 b1 5.9	74.6 b1 2.7	55.6 b1 5.0	74.6 b1 1.9	0.507 b1 0.003
T + Adj PE	87.2 b1 9.8	72.4 b1 4.9	59.9 b1 5.9	79.7 b1 2.0	0.243 b1 0.005
T + 2-step RW kernel	85.3 b1 6.9	72.8 b1 4.5	62.0 b1 9.4	78.0 b1 1.5	0.243 b1 0.010
T + 3-step RW kernel	83.3 b1 6.3	76.2 b1 4.4	61.0 b1 6.2	77.6 b1 3.6	0.244 b1 0.011
T + Diffusion kernel	82.7 b1 7.6	74.6 b1 4.2	59.1 b1 7.4	78.9 b1 1.6	0.255 b1 0.010
T + GCKN	84.4 b1 7.8	69.5 b1 3.8	61.5 b1 5.8	78.1 b1 5.1	0.274 b1 0.011
T + GCKN + 2-step RW kernel	90.4 b1 5.8	72.5 b1 4.6	58.4 b1 7.6	81.0 b1 1.8	0.213 b1 0.016
T + GCKN + Adj PE	90.5 b1 7.0	71.1 b1 6.9	57.9 b1 4.2	81.4 b1 2.2	0.211 b1 0.010

• GraphiTのバリエーションは、MUTAG、PROTEINS、PTC、NCI1データセットで一般的なGNNと同等またはそれを上回る性能を達成する。
• ZINC回帰タスクでは、構造エンコードと相対位置エンコーディングを組み合わせたGraphiTが、従来のすべてのベースラインを大きく上回る。
• GCKN-path特徴は、隣接性ベースまたはRWベースの相対エンコーディングと組み合わせた場合に、複数のデータセットでLapPEを上回ることが多い。
• ノード特徴の構造エンコード（例：GCKN-path）と相対位置エンコーディングを組み合わせると、ZINCを含むいくつかのベンチマークで総合的に最良の結果になる。
• 相対カーネルベースの位置エンコーディングは一般にLapPEより優れており、両方を組み合わせると大きな効果が得られる。
• アテンションの可視化は、発がん性予測に寄与する化学的に意味のあるサブ構造（例：ニトログループ）を明らかにする。