[논문 리뷰] Do Transformers Really Perform Bad for Graph Representation?

Chengxuan Ying, Tianle Cai외 6명|arXiv (Cornell University)|2021. 06. 09.

Advanced Graph Neural Networks참고 문헌 62인용 수 126

한 줄 요약

Graphormer는 그래프 특화 구조 인코딩을 갖춘 일반 Transformer 아키텍처가 OGB-LSC를 포함한 주요 그래프 표현 벤치마크에서 최첨단 결과를 달성함을 보여준다.

ABSTRACT

The Transformer architecture has become a dominant choice in many domains, such as natural language processing and computer vision. Yet, it has not achieved competitive performance on popular leaderboards of graph-level prediction compared to mainstream GNN variants. Therefore, it remains a mystery how Transformers could perform well for graph representation learning. In this paper, we solve this mystery by presenting Graphormer, which is built upon the standard Transformer architecture, and could attain excellent results on a broad range of graph representation learning tasks, especially on the recent OGB Large-Scale Challenge. Our key insight to utilizing Transformer in the graph is the necessity of effectively encoding the structural information of a graph into the model. To this end, we propose several simple yet effective structural encoding methods to help Graphormer better model graph-structured data. Besides, we mathematically characterize the expressive power of Graphormer and exhibit that with our ways of encoding the structural information of graphs, many popular GNN variants could be covered as the special cases of Graphormer.

연구 동기 및 목표

• 그래프 표현 학습에서 트랜스포머가 경쟁력 있을 수 있음을 입증한다.
• 트랜스포머 어텐션에 그래프 구조를 주입하기 위한 구조 인코딩을 도입한다.
• Graphormer의 표현력이 일반적인 GNN을 포괄한다는 이론적 분석을 제공한다.
• OGB-LSC, MolPCBA, MolHIV, ZINC와 같은 대규모 및 표준 그래프 벤치마크에서 실증적으로 검증한다.

제안 방법

• 그래프에 맞게 표준 트랜스포머를 세 가지 구조 인코딩으로 확장한 Graphormer를 제안한다: Centrality Encoding, Spatial Encoding, 및 Edge Encoding.
• Centrality Encoding은 입력 시 노드 특징에 차수 기반 임베딩을 추가하여 어텐션에 정보를 제공한다.
• Spatial Encoding은 그래프 기반의 노드 쌍 관계(예: 최단 경로 거리)에서 도출된 학습된 스칼라 b_{φ(v_i,v_j)}로 어텐션을 편향한다.
• Edge Encoding은 경로상의 간선 특징을 경로 전체에 걸친 누적 편향 c_{ij}로 어텐션에 통합한다.
• 특별한 [VNode] 토큰을 모든 노드와 연결하여 그래프 수준 Readout을 지원하며, NLP 모델의 [CLS]에 비유된다.
• [VNode]를 이용한 Readout이 있는 프리-LN 구성을 가진 트랜스포머 인코더 블록을 사용한다.
• 제안된 인코딩 아래 Graphormer가 GNN의 집계/구합을 시뮬레이션할 수 있으며 1-WL 표현력을 초과함을 보이는 이론적 결과를 제공한다.

실험 결과

연구 질문

• RQ1 그래프 인식을 위한 그래프 인식 구조 인코딩으로 보강된 일반 트랜스포머가 그래프 수준 예측 작업에서 전통적인 GNN과 경쟁하거나 이를 능가할 수 있는가?
• RQ2 중심성, 공간, 엣지 인코딩이 Graphormer의 성능 및 표현력에 어떻게 기여하는가?
• RQ3 Graphormer가 일반적인 GNN 변형(GCN, GIN 등)을 특수한 경우로 흡수할 만큼 표현력이 있는가?
• RQ4 ablation 후의 대규모 벤치마크(예: OGB-LSC PCQM4M-LSC) 및 표준 벤치마크(MolPCBA, MolHIV, ZINC)에서 Graphormer의 성능은 어떤가?

주요 결과

• 제안된 인코딩을 갖춘 Graphormer는 대규모 및 표준 그래프 벤치마크에서 최첨단 또는 경쟁적 결과를 달성한다.
• PCQM4M-LSC에서 Graphormer(전체)는 검증 MAE 0.1234로 다수의 GNN 베이스라인보다 현저히 우수하며; Graphormer Small도 0.1264 검증 MAE로 강력한 성능을 보인다.
• MolPCBA에서 FLAG 증가를 통해 이전 SOTA GNN보다 우수하다( AP 31.39 ±0.32 ).MolHIV(AUC 80.51 ±0.53)도 FLAG 증강으로 상회한다.
• ZINC에서 Graphormer-SLIM은 0.122 ±0.006 MAE로 여러 전통 GNN 및 트랜스포머 기반 경쟁자들을 능가한다.
• 아블레이션 연구는 Spatial Encoding과 Centrality Encoding이 성능을 크게 향상시키며; 엣지 인코딩을 통한 어텐션 편향은 추가 이득을 제공한다.
• 실험은 많은 인기 GNN 변형이 Graphormer의 특정 인코딩과 가중치 하에 특별한 경우로 회수될 수 있음을 시사한다.