[논문 리뷰] Exphormer: Sparse Transformers for Graphs

Hamed Shirzad, Ameya Velingker외 3명|arXiv (Cornell University)|2023. 03. 10.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

Exphormer는 가상의 글로벌 노드와 확산 그래프를 사용하여 그래프 트랜스포머에 대한 희소 어텐션 메커니즘을 도입하여 그래프 크기에 대해 선형 복잡도를 달성함으로써 대규모 그래프에서 확장 가능하고 정확한 모델링을 가능하게 한다. 이는 여러 벤치마크에서 최신 기술 성능을 달성하며, ogbn-arxiv에서 72.44%의 정확도를 기록하고, 메모리 제약으로 인해 전체 어텐션 모델이 실패하는 169K개 노드를 가진 그래프까지 스케일링할 수 있다.

ABSTRACT

Graph transformers have emerged as a promising architecture for a variety of graph learning and representation tasks. Despite their successes, though, it remains challenging to scale graph transformers to large graphs while maintaining accuracy competitive with message-passing networks. In this paper, we introduce Exphormer, a framework for building powerful and scalable graph transformers. Exphormer consists of a sparse attention mechanism based on two mechanisms: virtual global nodes and expander graphs, whose mathematical characteristics, such as spectral expansion, pseduorandomness, and sparsity, yield graph transformers with complexity only linear in the size of the graph, while allowing us to prove desirable theoretical properties of the resulting transformer models. We show that incorporating Exphormer into the recently-proposed GraphGPS framework produces models with competitive empirical results on a wide variety of graph datasets, including state-of-the-art results on three datasets. We also show that Exphormer can scale to datasets on larger graphs than shown in previous graph transformer architectures. Code can be found at \url{https://github.com/hamed1375/Exphormer}.

연구 동기 및 목표

• 표준 그래프 트랜스포머의 이차 메모리 및 계산 복잡도 문제를 해결하여 대규모 그래프에 대한 확장성을 향상시키기 위해.
• BigBird나 Performer와 같이 시퀀스 최적화 설계된 기존의 희소 어텐션 메커니즘을 초월하여 그래프 신경망 내에서의 성능과 효율성을 향상시키기 위해.
• 표현력을 유지하면서 파라미터 수와 학습 시간을 줄이는 이론적으로 탄탄한 희소 어텐션 메커니즘을 개발하기 위해.
• 메모리 제약으로 인해 전체 어텐션 모델이 불가능한 대규모 데이터셋(예: 169K개 노드를 가진 ogbn-arxiv)에서도 그래프 트랜스포머의 학습을 가능하게 하기 위해.
• 다양한 그래프 학습 작업에서 경쟁 가능한 성능을 달성하기 위해 희소 어텐션 메커니즘을 GraphGPS 프레임워크에 통합하기 위해.

제안 방법

• 모든 다른 노드와 연결되는 가상의 글로벌 노드를 도입하여 O(|V|)개의 간선을 추가함으로써 장거리 인덕티브 바이어스를 제공한다.
• O(|V|)개의 간선을 가진 희소 오버레이 네트워크로 확산 그래프를 활용하여 스펙트럼 확장성과 작은 지름을 이용해 효율적인 메시지 전달을 실현한다.
• 국소적 이웃, 가상 노드, 확산 그래프 간선을 조합하여 전체 자기어텐션을 스펙트럼적으로 근사하는 하이브리드 어텐션 메커니즘을 구성한다.
• 확산 그래프의 수학적 성질—예를 들어, 의사난수성과 스펙트럼 근사—을 활용하여 최소한의 간선으로도 전역적 의존성을 포착할 수 있도록 보장한다.
• 메시지 전파 GNN과 다양한 위치 인코딩을 지원하는 모듈식 통합을 가능하게 하기 위해 GraphGPS 프레임워크 내부에 아키텍처를 구현한다.
• 국소적 이웃, 가상 노드, 확산 그래프 간선에 한정된 어텐션을 통해 O(|V|²)의 복잡도를 O(|V|)로 감소시켜 선형 복잡도 어텐션을 구현한다.

실험 결과

연구 질문

• RQ1 가상 노드와 확산 그래프를 기반으로 한 희소 어텐션 메커니즘이 전체 어텐션 그래프 트랜스포머와 경쟁 가능한 성능을 달성하면서도 더 큰 그래프로 확장 가능한가?
• RQ2 확산 그래프와 가상 노드의 조합이 기존의 희소 어텐션 메커니즘보다 그래프 표현 학습에 더 나은 인덕티브 바이어스를 제공하는가?
• RQ3 Exphormer는 전체 어텐션 모델이 메모리 제약으로 인해 실패하는 대규모 그래프(예: 169K개 노드를 가진 ogbn-arxiv)에서도 학습이 가능한가?
• RQ4 국소적 이웃, 가상 노드, 확산 간선이라는 개별 구성 요소들이 성능에 어떤 기여를 하는가? 그리고 성능 저하 없이 제거할 수 있는 요소는 무엇인가?
• RQ5 Exphormer는 표준 그래프 벤치마크에서 전체 어텐션 모델과 다른 희소 트랜스포머보다 성능이 뛰어나거나 동등한가?

주요 결과

• Exphormer는 169K개 노드와 110만 개 간선을 가진 대규모 인용 네트워크인 ogbn-arxiv에서 72.44%의 최신 기술 정확도를 달성하였으며, 이는 전체 어텐션 모델이 메모리 제약으로 인해 실패하는 조건에서도 가능했다.
• Amazon-Computer 데이터셋에서 Exphormer는 90.74%의 정확도를 기록하여 최고의 비트랜스포머 방법과 동일했으며, 다른 희소 트랜스포머보다 뛰어난 성능을 보였다.
• 메모리 사용 감소로 인해 Exphormer는 MalNet-Tiny에서 배치 크기 256로 학습이 가능했고, 전체 어텐션 GraphGPS는 단지 16까지 가능했다.
• 가상 노드와 확산 간선을 모두 포함한 모델은 ogbn-arxiv에서 72.44%의 정확도를 기록했으며, 가상 노드만 있는 버전(72.22%)보다 뛰어나고 MPNN 기반 모델보다도 크게 향상되었다.
• Exphormer는 표준 GraphGPS가 OOM 문제로 실패하는 35K개 노드까지의 그래프(예: Coauthor CS)로도 스케일링할 수 있었다.
• 제거 실험 결과, 국소적 이웃은 항상 성능 향상에 기여하지만, 가상 노드와 확산 간선의 상대적 기여도는 데이터셋에 따라 달라지며, 두 구성 요소를 함께 사용할 경우 가장 유익한 결과를 얻을 수 있었다.