[논문 리뷰] Rethinking Graph Transformers with Spectral Attention

Devin Kreuzer, Dominique Beaini외 3명|arXiv (Cornell University)|2021. 06. 07.

Advanced Graph Neural Networks참고 문헌 36인용 수 70

한 줄 요약

학습된 라플라시안 스펙트럼 기반 위치 인코딩을 활용하여 완전 연결 그래프 트랜스포머를 가능하게 하는 Spectral Attention Network(SAN)를 소개하고, 표준 그래프 벤치마크에서 경쟁력 있거나 최첨단 결과를 달성한다.

ABSTRACT

In recent years, the Transformer architecture has proven to be very successful in sequence processing, but its application to other data structures, such as graphs, has remained limited due to the difficulty of properly defining positions. Here, we present the $ extit{Spectral Attention Network}$ (SAN), which uses a learned positional encoding (LPE) that can take advantage of the full Laplacian spectrum to learn the position of each node in a given graph. This LPE is then added to the node features of the graph and passed to a fully-connected Transformer. By leveraging the full spectrum of the Laplacian, our model is theoretically powerful in distinguishing graphs, and can better detect similar sub-structures from their resonance. Further, by fully connecting the graph, the Transformer does not suffer from over-squashing, an information bottleneck of most GNNs, and enables better modeling of physical phenomenons such as heat transfer and electric interaction. When tested empirically on a set of 4 standard datasets, our model performs on par or better than state-of-the-art GNNs, and outperforms any attention-based model by a wide margin, becoming the first fully-connected architecture to perform well on graph benchmarks.

연구 동기 및 목표

• 그래프를 고정된 구조 편향 없이 데이터로 간주하도록 동기를 부여하고 메시지 전달 기반 GNN의 한계를 해결한다.
• 전체 라플라시안 스펙트럼을 활용하는 학습 가능한 스펙트럴 위치 인코딩을 개발한다.
• 오버스쿼시잉을 완화하는 완전 연결 그래프 트랜스포머 아키텍처를 만든다.
• 표준 그래프 벤치마크에서 SOTA GNN 및 어텐션 기반 모델과 비교하여 실험적 성능 향상을 입증한다.

제안 방법

• 그래프에 대한 라플라시언 고유함수로부터 절대 위치 인코딩과 상대 위치 인코딩을 정의한다.
• 스펙트럴 정보를 고정 크기의 노드 임베딩으로 투영하기 위해 노드 위의 학습된 위치 인코딩(LPE) 트랜스포머를 제안한다.
• LPE를 노드 특징과 연결하고 전체 그래프 어텐션을 갖는 주 그래프 트랜스포머에 입력한다.
• 감마 매개변수로 조정 가능한 두 가지 분기(attention) 메커니즘을 활성화하여 희소한 그래프 엣지와 전체 그래프 연결을 처리한다.
• 부호 불변성을 달성하기 위한 에지 단위 LPE 변형을 선택적으로 제시하되 계산 비용이 더 높다.
• 이론적 특성: WL 테스트를 넘어서는 표현력과 완전 연결로 인한 오버스퀴시잉 감소를 논의한다.

실험 결과

연구 질문

• RQ1 라플라시안 고유함수를 어떻게 활용하여 트랜스포머 설정에서 그래프에 대해 효과적인 위치 인코딩을 만들 수 있는가?
• RQ2 스펙트럴 인코딩을 갖춘 전체 그래프 어텐션이 전통적 메시지 전달 GNN보다 표현력과 성능을 향상시키는가?
• RQ3 노드-와이즈와 에지-와이즈 LPE 간의 트레이드오프(계산 비용과 정확도)와 희소 대 전체 어텐션 간의 트레이드오프는 무엇인가?
• RQ4 SAN이 분자 및 SBM 데이터셋에서 표준 그래프 벤치마크에서 최첨단 성능을 달성할 수 있는가?

주요 결과

• SAN은 여러 표준 그래프 벤치마크에서 최첨단과 같거나 이를 상회한다.
• 스펙트럴 인코딩을 가진 전체 그래프 어텐션은 동등한 희소 메시지 전달 모델 대비 실험적 이익을 제공한다.
• 부분구조 탐지로 인해 분자 데이터셋에서 노드-와이즈 LPE가 상당히 기여한다.
• 제안된 방법은 테스트한 데이터셋에서 일관되게 어텐션-전용 기준선보다 더 높은 성능을 보인다.
• 에지-와이즈 LPE는 부호 불변성 이점을 제공하지만 계산 비용이 더 높다.
• SAN은 주의 기반 모델에 비해 그래프 벤치마크에서 잘 작동하는 것으로 보고된 최초의 완전 연결 아키텍처이다.