[논문 리뷰] Specformer: Spectral Graph Neural Networks Meet Transformers

Deyu Bo, Chuan Shi외 2명|arXiv (Cornell University)|2023. 03. 02.

Advanced Graph Neural Networks인용 수 16

한 줄 요약

Specformer는 그래프 라플라시안 고유값에 대한 Transformer 기반의 집합-대-집합 스펙트럴 필터를 도입하여 학습 가능한 비국소 스펙트럴 컨볼루션을 가능하게 하고, 순열 등가성을 가지며 노드 및 그래프 수준 작업에서 최첨단 GNN을 능가합니다.

ABSTRACT

Spectral graph neural networks (GNNs) learn graph representations via spectral-domain graph convolutions. However, most existing spectral graph filters are scalar-to-scalar functions, i.e., mapping a single eigenvalue to a single filtered value, thus ignoring the global pattern of the spectrum. Furthermore, these filters are often constructed based on some fixed-order polynomials, which have limited expressiveness and flexibility. To tackle these issues, we introduce Specformer, which effectively encodes the set of all eigenvalues and performs self-attention in the spectral domain, leading to a learnable set-to-set spectral filter. We also design a decoder with learnable bases to enable non-local graph convolution. Importantly, Specformer is equivariant to permutation. By stacking multiple Specformer layers, one can build a powerful spectral GNN. On synthetic datasets, we show that our Specformer can better recover ground-truth spectral filters than other spectral GNNs. Extensive experiments of both node-level and graph-level tasks on real-world graph datasets show that our Specformer outperforms state-of-the-art GNNs and learns meaningful spectrum patterns. Code and data are available at https://github.com/bdy9527/Specformer.

연구 동기 및 목표

• Scalar-to-scalar 스펙트럴 필터와 고정 차수 다항식 기저의 한계를 동기화한다.
• Transformer 기반의 집합-대-집합 스펙트럴 필터를 개발하여 모든 라플라시안 고유값의 크기와 상대 차이를 포착한다.
• 비국소 그래프 컨볼루션을 가능하게 하는 학습 가능한 기저 디코더를 설계한다.
• 실용적인 그래프 학습 작업에 대한 순열 등가성 및 확장성을 보장한다.
• 합성 및 실제 그래프 벤치마크에서 노드 및 그래프 수준 모두에서 우수한 성능을 보임을 입증한다.

제안 방법

• 고유값을 사인 형태 임베딩 함수로 매핑하여 고차원 표현을 얻어 스펙트럼을 인코딩한다.
• 표준 Transformer 블록을 적용하여 스펙트럼 도메인에서 고유값 간 의존성을 학습한다.
• 주의 기반 헤드를 통해 여러 스펙트럼 기저를 디코딩하여 새로운 고유값을 생성하고, FFN으로 학습 가능한 기저를 구성한다.
• 각 채널의 스펙트럴 필터를 학습 가능한 기저의 조합으로 재구성하고 잔차 연결이 있는 그래프 컨볼루션을 적용한다.
• 학습된 스펙트럴 필터를 통해 순열 등가성을 유지하고 비국소 그래프 컨볼루션을 허용한다.

실험 결과

연구 질문

• RQ1 Transformer 기반의 집합-대-집합 스펙트럴 필터가 모든 라플라시안 고유값의 크기 및 상대 주파수 정보를 모두 포착할 수 있는가?
• RQ2 학습 가능한 스펙트럴 기저가 고정 다항식 기저보다 더 표현력이 있고 유연한 스펙트럴 필터링을 가능하게 하는가?
• RQ3 Specformer가 순열 등가성을 유지하면서 비국소 그래프 컨볼루션을 수행할 수 있으며 노드 및 그래프 수준 작업에서도 좋은 성능을 보이는가?
• RQ4 합성 데이터와 실제 데이터 세트에서 전통적 공간 GNN, 다항식 기반 스펙트럴 GNN, Graph Transformer와 비교했을 때의 성능 차이는 어떠한가?

주요 결과

• Specformer는 합성 데이터에서 고정된 다항식 스펙트럴 GNN보다 더 표현력 있는 스펙트럴 필터를 학습하고, 실제로 진정한 목표 필터를 정확히 재현합니다.
• 노드 수준 및 그래프 수준 벤치마크에서 Specformer는 공간적, 스펙트럴, 그래프 트랜스포머 기반 baselines를 포함한 최첨단 GNN을 능가합니다.
• 모델은 순열 등가성을 시현하고 학습된 스펙트럴 기저를 통해 비국소 그래프 컨볼루션이 가능함을 보여줍니다.
• 고유값 인코딩 및 어텐션 모듈이 일관되게 성능을 향상시키며, 모델 크기는 작업 난이도에 따라 확장됩니다.
• Specformer는 동질적(homophilic) 및 이질적인(heterophilic) 데이터셋 모두에서 강력한 성능을 달성하며, 이질적 그래프에서 특히 큰 이점을 보였습니다.