[논문 리뷰] Spectral Graph Attention Network with Fast Eigen-approximation

Heng Chang, Yu Rong외 5명|arXiv (Cornell University)|2020. 03. 16.

Advanced Graph Neural Networks참고 문헌 50인용 수 4

한 줄 요약

이 논문은 스펙트럴 그래프 웨이블릿에 주목 메커니즘을 적용하는 새로운 그래프 신경망인 스펙트럴 그래프 어텐션 네트워크(SpGAT)를 제안한다. 이는 저주파수 및 고주파수 성분을 효율적으로 모델링함으로써 전역적이고 국소적인 표현 학습을 향상시킨다. 또한 체비셰프 다항식을 사용해 빠른 근사화를 구현한 SpGAT-Cheby를 추가로 도입하여 대규모 그래프에서 계산 비용을 최대 7.9배까지 감소시키면서도 인용 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Variants of Graph Neural Networks (GNNs) for representation learning have been proposed recently and achieved fruitful results in various fields. Among them, Graph Attention Network (GAT) first employs a self-attention strategy to learn attention weights for each edge in the spatial domain. However, learning the attentions over edges can only focus on the local information of graphs and greatly increases the computational costs. In this paper, we first introduce the attention mechanism in the spectral domain of graphs and present Spectral Graph Attention Network (SpGAT) that learns representations for different frequency components regarding weighted filters and graph wavelets bases. In this way, SpGAT can better capture global patterns of graphs in an efficient manner with much fewer learned parameters than that of GAT. Further, to reduce the computational cost of SpGAT brought by the eigen-decomposition, we propose a fast approximation variant SpGAT-Cheby. We thoroughly evaluate the performance of SpGAT and SpGAT-Cheby in semi-supervised node classification tasks and verify the effectiveness of the learned attentions in the spectral domain.

연구 동기 및 목표

• 공간 영역 어텐션의 한계를 해결하기 위해, 이는 국소적 이웃 정보에만 집중하고 높은 계산 비용을 수반한다.
• 그래프 웨이블릿과 주파수 성분을 활용해 주어진 어텐션 메커니즘의 영역을 스펙트럴 영역으로 확장함으로써 그래프의 전역적 구조 모델링을 가능하게 한다.
• 스펙트럴 GNN에서 스펙트럴 분해의 계산 부담을 줄이기 위해 체비셰프 다항식 근사를 도입한다.
• 스펙트럴 성분에 대한 어텐션 학습이 공간 어텐션 메커니즘보다 더 뛰어난 성능과 파라미터 효율성을 달성할 수 있음을 입증한다.

제안 방법

• SpGAT는 라플라시안 고유분해에서 유도된 그래프 웨이블릿을 사용해 그래프 신호를 저주파수 및 고주파수 성분으로 분해한다.
• 저주파수 및 고주파수 성분 각각에 대해 별도의 학습 가능한 어텐션 가중치를 적용하여 국소적 및 전역적 그래프 구조를 별도로 모델링한다.
• 모델은 풀링 함수와 활성화 함수를 사용해 주목된 스펙트럴 특징을 집계하고 변환하여 최종 노드 표현을 도출한다.
• SpGAT-Cheby는 정확한 고유치 분해를 체비셰프 다항식 근사로 대체하여 스펙트럴 웨이블릿 계산을 가속화한다.
• 근사는 체비셰프 다항식이 고유값 구간에서 스펙트럴 함수를 효율적으로 근사할 수 있다는 사실에 기반한다.
• 모델은 교차 엔트로피 손실을 사용해 반감독 학습 설정에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 공간 영역 어텐션과 비교해 스펙트럴 영역에 어텐션 메커니즘을 적용할 경우 그래프의 전역적 표현 학습이 향상되는가?
• RQ2 스펙트럴 영역에서 저주파수 및 고주파수 성분을 분리하면 성능 향상과 파라미터 효율성이 향상되는가?
• RQ3 체비셰프 다항식 근사를 통해 스펙트럴 웨이블릿 계산의 계산 비용을 크게 줄일 수 있는가, 성능 손실 없이?
• RQ4 효율적인 그래프 표현 학습을 위해 저주파수 성분의 최적 비율은 얼마인가?

주요 결과

• SpGAT는 모든 다섯 개인용 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, GAT 및 GCN을 포함한 14개의 경쟁 기반 모델을 모두 능가했다.
• PubMed 데이터셋에서 SpGAT-Cheby는 정확도 92.1%를 기록했고, 정확한 고유치 분해 대비 스펙트럴 웨이블릿 계산 속도가 7.9배 빨라졌다.
• 저주파수 성분의 최적 비율은 데이터셋 간 평균 5–15%로 확인되어, 효과적인 신호 재구성에 소수의 성분만으로도 충분함을 시사한다.
• SpGAT-Cheby는 GAT 대비 훈련 시간을 약 절반으로 줄였고, VanillaGCN 수준의 효율성을 확보하여 강력한 확장성 잠재력을 보였다.
• 제거 실험 결과, 스펙트럴 성분에 대한 어텐션 학습이 성능 향상에 크게 기여하며, 저주파수 성분을 소수의 고정된 비율로 처리할 경우 최고의 성능를 달성함을 확인했다.
• 모델의 성능는 다양한 데이터셋에서 뛰어난 안정성을 보였으며, SpGAT-Cheby는 PubMed에서 최고 정확도 92.8%와 Cora에서 83.7%를 기록했다.