[논문 리뷰] Transformer for Graphs: An Overview from Architecture Perspective

Erxue Min, Runfa Chen외 8명|arXiv (Cornell University)|2022. 02. 17.

Advanced Graph Neural Networks인용 수 73

한 줄 요약

그래프 트랜스포머 모델의 체계적 고찰로, 보조 모듈로서의 GNN들, 향상된 포지셔널 임베딩, 개선된 어텐션 매트릭스로 분류하고, 그래프 벤치마크 전반에 걸친 차등화(ablation) 연구를 수행.

ABSTRACT

Recently, Transformer model, which has achieved great success in many artificial intelligence fields, has demonstrated its great potential in modeling graph-structured data. Till now, a great variety of Transformers has been proposed to adapt to the graph-structured data. However, a comprehensive literature review and systematical evaluation of these Transformer variants for graphs are still unavailable. It's imperative to sort out the existing Transformer models for graphs and systematically investigate their effectiveness on various graph tasks. In this survey, we provide a comprehensive review of various Graph Transformer models from the architectural design perspective. We first disassemble the existing models and conclude three typical ways to incorporate the graph information into the vanilla Transformer: 1) GNNs as Auxiliary Modules, 2) Improved Positional Embedding from Graphs, and 3) Improved Attention Matrix from Graphs. Furthermore, we implement the representative components in three groups and conduct a comprehensive comparison on various kinds of famous graph data benchmarks to investigate the real performance gain of each component. Our experiments confirm the benefits of current graph-specific modules on Transformer and reveal their advantages on different kinds of graph tasks.

연구 동기 및 목표

• GA, PE, AT에 따라 그래프 정보를 Transformer에 주입하는 방식으로 기존 Graph Transformer 모델을 분류한다.
• 그래프 인지 구성요소의 실제 성능 향상을 평가한다.
• 다른 그래프 작업에 이익을 주는 아키텍처 선택에 대한 지침을 제공한다.
• 확장 가능한 Graph Transformer 설계를 위한 시사점과 향후 방향을 제시한다.

제안 방법

• 20개가 넘는 Graph Transformer 모델을 세 가지 통합 범주로 해체한다: GA(보조 모듈로서의 GNNs), PE(개선된 그래프 기반 위치 임베딩), AT(개선된 어텐션 매트릭스).
• 각 범주에서 대표 구성요소를 구현하고 여섯 개의 그래프 벤치마크에서 차등화 어블레이션을 수행하여 이득을 정량화한다.
• 세 가지 GNN-Transformer 구성에서 아키텍처를 비교한다: GNN 블록 위의 Transformer 블록, 계층화된 GNN/Transformer 블록, 병렬 GNN/Transformer 블록.
• 대형 그래프의 노드 수준 작업에 대해 그래프 인지 모듈을 가능하게 하려면 서브그래프 샘플링을 사용한다.
• 그래프 레벨 작업(ZINC, ogbg-molhiv, ogbg-molpcba) 및 노드 레벨 작업(Flickr, ogbg-arxiv, ogbg-product)을 평가한다.
• 다른 작업 유형에 어떤 구성요소 유형이 더 큰 이득을 가져오는지에 대한 통계적 및 질적 분석을 제공한다.

실험 결과

연구 질문

• RQ1 그래프 인지 모듈이 그래프 레벨 및 노드 레벨 작업 모두에서 Transformer 성능을 일관되게 향상시키는가?
• RQ2 가장 신뢰할 수 있는 이득을 제공하는 통합 전략(GA, PE, AT)은 무엇이며 어떤 조건에서인가?
• RQ3 작업 전반에 걸쳐 GA와 AT가 PE보다 더 이로운가, 그리고 작업 유형이 최적 선택에 영향을 주는가?
• RQ4 대형 그래프에 Graph Transformer를 확장하는 데 필요한 실용적 고려사항은 무엇인가?

주요 결과

• 그래프 인지 모듈은 일반적으로 그래프 레벨 및 노드 레벨 작업 모두에서 Transformer 성능을 향상시킨다.
• GA 및 AT 방법이 PE보다 더 큰 이득을 제공하는 경향이 있다.
• 서브그래프 샘플링 효과로 인해 그래프 레벨 작업 이득이 일반적으로 노드 레벨 작업 이득보다 크다.
• 대부분의 그래프 레벨 작업에서 AT 방법이 최고의 성능을 달성하는 반면, GA 방법이 노드 레벨 작업에서 더 자주 우수하다.
• molpcba에서 그래프 인지 모듈은 바닐라 Transformer 대비 최대 56%의 개선을 보였다.
• 다른 그래프 작업은 서로 다른 모듈 그룹에서 이익을 얻는다(GA/AT가 더 넓은 이득; PE는 일관되게 유익하지 않음).