[논문 리뷰] GraphiT: Encoding Graph Structure in Transformers

Grégoire Mialon, Dexiong Chen외 2명|arXiv (Cornell University)|2021. 06. 10.

Advanced Graph Neural Networks참고 문헌 29인용 수 42

한 줄 요약

GraphiT는 기본 트랜스포머가 커널 기반 상대 위치 인코딩과 로컬 서브구조(GCKN) 특징으로 GNN을 능가할 수 있음을 보여주며 벤치마크에서 경쟁적이거나 우수한 성능을 제공하고 해석 가능한 주의 집중 모티프를 제공한다.

ABSTRACT

We show that viewing graphs as sets of node features and incorporating structural and positional information into a transformer architecture is able to outperform representations learned with classical graph neural networks (GNNs). Our model, GraphiT, encodes such information by (i) leveraging relative positional encoding strategies in self-attention scores based on positive definite kernels on graphs, and (ii) enumerating and encoding local sub-structures such as paths of short length. We thoroughly evaluate these two ideas on many classification and regression tasks, demonstrating the effectiveness of each of them independently, as well as their combination. In addition to performing well on standard benchmarks, our model also admits natural visualization mechanisms for interpreting graph motifs explaining the predictions, making it a potentially strong candidate for scientific applications where interpretation is important. Code available at https://github.com/inria-thoth/GraphiT.

연구 동기 및 목표

• 전통적인 GNN에 대한 대안으로 그래프 구조 데이터를 다루기 위해 트랜스포머 아키텍처를 활용하는 동기를 제시한다.
• 위치 인코딩과 로컬 서브구조 특징을 통해 트랜스포머에 그래프 구조를 주입하는 방법을 개발한다.
• 분류 및 회귀 벤치마크에서 커널 기반 상대 위치 인코딩과 GCKN 파생 특징의 영향을 평가한다.
• 주의 집중을 해석하고 의미 있는 그래프 모티프를 식별하기 위한 시각화 기법을 제공한다.

제안 방법

• 노드 특징에 작용하는 일반적인 트랜스포머 인코더로 그래프를 처리한다.
• 그래프에서 양의 결정 커널(예: 확산 커널, 랜덤 워크 커널)을 사용하여 주의 집중에 상대 위치 인코딩을 도입한다.
• Graph Convolutional Kernel Networks(GCKN) 경로 특징을 통해 로컬 서브구조 표현으로 노드 특징을 보강한다.
• 상대 위치 인코딩과 구조 인지 노드 특징을 결합하고 Laplacian 기반 LapPE 및 GCKN 기반선을 비교한다.
• 전역 대 로컬 주의(전면적 소통 대 이웃 기반 집계) 및 데이터셋 전반의 차등 실험을 수행한다.
• 주의 기반 시각화를 제공하여 차별적 그래프 모티프와 서브구조를 식별한다.

실험 결과

연구 질문

• RQ1 적절한 그래프 인식 위치 인코딩이 있는 일반적인 트랜스포머가 그래프 분류 및 회귀 작업에서 GNN을 능가할 수 있는가?
• RQ2 커널 기반 상대 위치 인코딩이 그래프의 Laplacian 기반 절대 위치 인코딩(LapPE)보다 우수한가?
• RQ3 구조 인코딩과 상대 위치 인코딩의 어떤 조합이 데이터셋 전반에서 최고의 성능을 내는가?
• RQ4 주의 점수는 화학이나 생물학의 알려진 서브구조와 일치하는 의미 있는 그래프 모티프를 드러내는가?

주요 결과

방법 / 데이터셋	MUTAG	PROTEINS	PTC	NCI1	ZINC (no edge feat.)
MF [11]	81.5 b1 11.0	71.9 b1 5.2	57.3 b1 6.9	80.6 b1 2.5	0.387 b1 0.019
GCN [18]	78.9 b1 10.1	75.8 b1 5.5	54.0 b1 6.3	75.9 b1 1.6	0.367 b1 0.011
GAT [37]	80.3 b1 8.5	74.8 b1 4.1	55.0 b1 6.0	76.8 b1 2.1	0.384 b1 0.007
GIN [40]	82.6 b1 6.2	73.1 b1 4.6	55.0 b1 8.7	81.7 b1 1.7	0.387 b1 0.015
GCKN-subtree [7]	87.8 b1 9.4	72.0 b1 3.7	62.1 b1 6.4	79.6 b1 1.8	0.474 b1 0.001
[12]	79.3 b1 11.6	65.8 b1 3.1	58.4 b1 8.2	78.9 b1 1.1	0.359 b1 0.014
[12] + LapPE	83.9 b1 6.5	70.1 b1 3.2	57.7 b1 3.1	80.0 b1 1.9	0.323 b1 0.013
Transformers (T)	82.2 b1 6.3	75.6 b1 4.9	58.1 b1 10.5	70.0 b1 4.5	0.696 b1 0.007
T + LapPE	85.8 b1 5.9	74.6 b1 2.7	55.6 b1 5.0	74.6 b1 1.9	0.507 b1 0.003
T + Adj PE	87.2 b1 9.8	72.4 b1 4.9	59.9 b1 5.9	79.7 b1 2.0	0.243 b1 0.005
T + 2-step RW kernel	85.3 b1 6.9	72.8 b1 4.5	62.0 b1 9.4	78.0 b1 1.5	0.243 b1 0.010
T + 3-step RW kernel	83.3 b1 6.3	76.2 b1 4.4	61.0 b1 6.2	77.6 b1 3.6	0.244 b1 0.011
T + Diffusion kernel	82.7 b1 7.6	74.6 b1 4.2	59.1 b1 7.4	78.9 b1 1.6	0.255 b1 0.010
T + GCKN	84.4 b1 7.8	69.5 b1 3.8	61.5 b1 5.8	78.1 b1 5.1	0.274 b1 0.011
T + GCKN + 2-step RW kernel	90.4 b1 5.8	72.5 b1 4.6	58.4 b1 7.6	81.0 b1 1.8	0.213 b1 0.016
T + GCKN + Adj PE	90.5 b1 7.0	71.1 b1 6.9	57.9 b1 4.2	81.4 b1 2.2	0.211 b1 0.010

• GraphiT 변형은 MUTAG, PROTEINS, PTC 및 NCI1 데이터셋에서 일반적인 GNN과 동등하거나 우수한 성능을 달성한다.
• ZINC 회귀 작업에서 구조 인코딩과 상대 위치 인코딩을 갖춘 GraphiT가 모든 기존 베이스라인을 큰 차이로 능가한다.
• GCKN-path 특징은 여러 데이터셋에서 자주 LapPE를 능가하며, 특히 인접성 기반 또는 RW 기반 상대 인코딩과 결합될 때 그렇다.
• 노드 특징의 구조 인코딩(GCKN-path 등)과 상대 위치 인코딩의 결합이 ZINC를 포함한 여러 벤치마크에서 최상의 전반적 결과를 낳는다.
• 상대 커널 기반 위치 인코딩이 일반적으로 LapPE보다 우수하며 두 가지의 조합이 상당한 향상을 가져온다.
• 주의 시각화는 변이성 예측에 기여하는 화학적으로 의미 있는 서브구조(예: 니트로 그룹)가 드러낸다.