[논문 리뷰] Recipe for a General, Powerful, Scalable Graph Transformer

Ladislav Rampášek, Mikhail Galkin외 4명|arXiv (Cornell University)|2022. 05. 25.

Advanced Graph Neural Networks인용 수 225

한 줄 요약

GPS를 제안하는 모듈형 그래프 Transformer 청사진으로, 로컬 MPNN 메시지 전달과 글로벌 선형 어텐션을 결합한 선형 복잡도이며 16개 벤치마크에서 최첨단 결과에 경쟁력을 발휘합니다.

ABSTRACT

We propose a recipe on how to build a general, powerful, scalable (GPS) graph Transformer with linear complexity and state-of-the-art results on a diverse set of benchmarks. Graph Transformers (GTs) have gained popularity in the field of graph representation learning with a variety of recent publications but they lack a common foundation about what constitutes a good positional or structural encoding, and what differentiates them. In this paper, we summarize the different types of encodings with a clearer definition and categorize them as being $ extit{local}$, $ extit{global}$ or $ extit{relative}$. The prior GTs are constrained to small graphs with a few hundred nodes, here we propose the first architecture with a complexity linear in the number of nodes and edges $O(N+E)$ by decoupling the local real-edge aggregation from the fully-connected Transformer. We argue that this decoupling does not negatively affect the expressivity, with our architecture being a universal function approximator on graphs. Our GPS recipe consists of choosing 3 main ingredients: (i) positional/structural encoding, (ii) local message-passing mechanism, and (iii) global attention mechanism. We provide a modular framework $ extit{GraphGPS}$ that supports multiple types of encodings and that provides efficiency and scalability both in small and large graphs. We test our architecture on 16 benchmarks and show highly competitive results in all of them, show-casing the empirical benefits gained by the modularity and the combination of different strategies.

연구 동기 및 목표

• 그래프 Transformer에서 위치 인코딩(positional)과 구조 인코딩(structural encodings, PE/SE)을 로컬, 글로벌, 상대(relative) 범주로 명확히 분류하고 구분한다.
• 그래프에서 로컬 메시지 전달과 글로벌 어텐션을 융합한 GPS 설계를 제안하여 선형 복잡도를 달성한다.
• 다양한 벤치마크에서 경쟁력 있는 성능을 유지하면서 큰 그래프에 대한 확장성을 입증한다.
• PE/SE, MPNN, 글로벌 어텐션 구성요소의 기여를 이해하기 위한 광범위한 소거 연구(ablation study)를 제공한다.
• 다양한 데이터세트에서 모듈식 실험을 가능하게 하는 오픈소스 GraphGPS 구현을 제공한다.

제안 방법

• 세 부분으로 구성된 GPS 레시피를 정의한다: (i) 노드/엣지/그래프 특징과 함께 위치/구조 인코딩을 집계하는 임베딩 모듈, (ii) 로컬 MPNN 채널과 글로벌 어텐션을 결합하는 처리 모듈, (iii) 다양한 PE/SE, MPNN, 어텐션 선택을 가능하게 하는 모듈형 프레임워크.
• 글로벌 어텐션 구성요소에서 선형 시간 어텐션 메커니즘(Performer 또는 BigBird)을 사용하여 O(N+E) 복잡도를 달성하고 전체 O(N^2) 어텐션을 피한다.
• GPS 레이어당 하나의 로컬 MPNN 패스를 글로벌 어텐션 단계와 교차시키고, 그 후 MLP를 통해 융합한다.
• 엣지 정보가 MPNN+트랜스포머 하이브리드 내에서 노드 특징을 통해 전달될 수 있어 표현력을 보존한다고 주장한다.
• 엣지 정보 전달을 가능하게 하고 라플라시안 고유벡터를 활용함으로써 GPS가 그래프에서 보편 함수 근사기(universal function approximator)임을 이론적으로 정당화한다.
• 모듈식 실험을 위해 PyG 및 GraphGym 위에 구축된 GraphGPS 패키지에 GPS를 구현한다.

실험 결과

연구 질문

• RQ1 로컬/글로벌/상대(relative) 범주로 구성된 모듈식 PE/SE 인코딩이 그래프 Transformer의 표현력과 일반화 성능을 향상시킬 수 있는가?
• RQ2 로컬 MPNN 집계를 글로벌 선형 어텐션으로부터 분리하는 것이 큰 그래프에서 확장 가능하고 경쟁력 있는 그래프 Transformer 성능을 가능하게 하는가?
• RQ3 다양한 벤치마크에서 각 GPS 구성요소(PE/SE, MPNN, 글로벌 어텐션)의 성능 기여도는 무엇인가?
• RQ4 GPS가 선형 시간 어텐션으로 그래프에서 함수 근사에서 보편성을 달성할 수 있는가?

주요 결과

• GPS는 ZINC, MNIST, CIFAR10, PATTERN, CLUSTER 및 OGB 과제를 포함한 16개의 벤치마크에서 최첨단 결과에 경쟁력을 보인다.
• 소거 연구에서 대부분의 데이터세트에 대해 MPNN 모듈의 필요성과 Transformer 스타일의 글로벌 어텐션의 이점을 보여준다.
• RWSE 및 SignNet 기반 인코딩이 일관된 이점을 제공하며, 데이터세트에 따라 최적의 인코딩이 다르게 관찰된다.
• 선형 규모의 글로벌 어텐션(Performer)은 수천 개 노드를 가진 그래프까지 확장하면서도 강한 성능을 유지하게 한다.
• GPS는 대규모 PCQM4Mv2 및 MalNet-Tiny에서 강한 결과를 보여주며, 파라미터 수를 줄이면서도 확장성과 경쟁력 있는 정확도를 입증한다.
• 이 접근법은 노드 표현을 통해 엣지 정보를 유지하여 그래프에서의 보편적 함수 근사성 주장을 뒷받침한다.