[논문 리뷰] How Expressive are Transformers in Spectral Domain for Graphs?

Anson Bastos, Abhishek Nadgeri외 4명|arXiv (Cornell University)|2022. 01. 23.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프 스펙트럼 전역에서 주의를 기울일 수 있도록 해주는 스펙트럼 도메인 주의 메커니즘인 FeTA를 제안한다. 이는 원래의 트랜스포머가 고주파 그래프 신호를 포착하는 데에 내재된 제한성을 극복한다. 이론적 분석은 트랜스포머의 공간 주의가 저통과 필터링에 국한되어 있음을 보여주며, FeTA는 작업에 맞는 스펙트럼 주의를 학습하여 그래프 분류, 회귀, 노드 분류 벤치마크에서 뛰어난 성능을 달성한다.

ABSTRACT

The recent works proposing transformer-based models for graphs have proven the inadequacy of Vanilla Transformer for graph representation learning. To understand this inadequacy, there is a need to investigate if spectral analysis of the transformer will reveal insights into its expressive power. Similar studies already established that spectral analysis of Graph neural networks (GNNs) provides extra perspectives on their expressiveness. In this work, we systematically study and establish the link between the spatial and spectral domain in the realm of the transformer. We further provide a theoretical analysis and prove that the spatial attention mechanism in the transformer cannot effectively capture the desired frequency response, thus, inherently limiting its expressiveness in spectral space. Therefore, we propose FeTA, a framework that aims to perform attention over the entire graph spectrum (i.e., actual frequency components of the graphs) analogous to the attention in spatial space. Empirical results suggest that FeTA provides homogeneous performance gain against vanilla transformer across all tasks on standard benchmarks and can easily be extended to GNN-based models with low-pass characteristics (e.g., GAT).

연구 동기 및 목표

• 원래의 트랜스포머가 그래프 표현 학습을 위한 스펙트럼 도메인에서 표현 능력을 이론적으로 분석하기.
• 공간 주의가 내재된 저통과 필터링으로 인해 특정 주파수 성분에만 집중할 수 없는 트랜스포머의 근본적 한계를 규명하기.
• 그래프 라플라시안의 고유벡터(주파수 성분)를 기반으로 전체 그래프 스펙트럼에서 주의를 수행하는 FeTA 프레임워크를 제안하기.
• GAT와 같은 저통과 특성을 가진 GNN에 FeTA를 통합하여 일반화 능력을 평가하고 성능 향상을 입증하기.
• 기존의 위치 인코딩 기법과의 호환성을 조사하여 공간 인코딩 방법에 대해 수직적인 개선 효과를 보여주기.

제안 방법

• 그래프 스펙트럼 이론을 활용하여 트랜스포머의 공간 도메인과 스펙트럼 도메인 간의 형식적 등가성을 수립하기.
• 이론적으로 트랜스포머의 공간 주의가 저통과 주파수 응답에 국한되어 있음을 증명하고, 스펙트럼 공간에서의 표현 능력에 제한을 둠을 밝히기.
• 그래프 라플라시안의 고유벡터(주파수 성분)를 기반으로 주의를 수행하는 FeTA를 설계하여 전체 스펙트럼 주의를 가능하게 하기.
• 저통과 특성을 가진 GNN(예: GAT)에 FeTA를 통합하여 스펙트럼 모델링 능력을 향상시키기.
• 고유모드에 대한 학습된 주의 가중치를 활용해 전체 주파수 범위에서 신호를 동적으로 필터링하여 작업에 맞는 스펙트럼 필터링을 가능하게 하기.
• ZINC, MolHIV, PATTERN, CLUSTER 등 다양한 그래프 벤치마크에서 추론 및 비교를 통한 FeTA 평가 및 아블레이션 스터디 수행하기.

실험 결과

연구 질문

• RQ1 그래프 표현 학습에서 트랜스포머의 공간 도메인과 스펙트럼 도메인 간에 형식적 등가성이 존재하는가?
• RQ2 트랜스포머의 스펙트럼 도메인에서의 표현 능력은 무엇이며, 내재적으로 주로 저주파 성분에만 주의를 기울이는가?
• RQ3 스펙트럼 도메인 주의 메커니즘은 트랜스포머의 공간 주의의 한계를 극복할 수 있는가?
• RQ4 FeTA는 다양한 그래프 학습 작업에서 원래의 트랜스포머와 GNN보다 어떻게 성능을 내는가?
• RQ5 기존의 위치 인코딩 기법과 FeTA는 어느 정도 상호작용하며, FeTA는 보완적인 이점을 제공하는가?

주요 결과

• 이론적 분석을 통해 트랜스포머의 공간 주의 메커니즘이 내재적으로 저통과 주파수 응답에 국한되어 있음을 확인하였으며, 이는 스펙트럼 공간에서의 표현 능력을 제한한다.
• 모든 평가된 그래프 분류, 회귀, 노드 분류 벤치마크에서 FeTA는 원래의 트랜스포머보다 일관된 성능 향상을 달성한다.
• GAT와 같은 저통과 GNN에 통합되었을 때, FeTA는 전체 스펙트럼 주의를 가능하게 하여 성능을 크게 향상시키며, 일반화 능력을 입증한다.
• 스펙트럼 도메인의 주의 히트맵 분석을 통해 FeTA가 작업의 필요에 따라 국소 클러스터(저통과 행동)와 장거리 상호작용(고통과 행동)을 모두 주의 집중하는 것을 확인하였다.
• 위치 인코딩 기법은 데이터셋 간으로 일반화되지 않지만, FeTA는 최신 기술 아키텍처에서 원래의 트랜스포머를 대체할 때 일관되게 성능 향상을 보이며, 이는 수직적인 개선 효과를 시사한다.
• 해석 가능성 분석을 통해 FeTA의 스펙트럼 주의는 노드를 그들의 스펙트럼 위치 기반으로 집약하는 것을 의미적으로 학습함을 보여주었으며, 저주파 성분은 국소적 동질성에 중점을 두고, 고주파 성분은 장거리 상호작용을 가능하게 한다.