[논문 리뷰] Spectral Graph Attention Network

Heng Chang, Yu Rong외 5명|arXiv (Cornell University)|2020. 01. 01.

Advanced Graph Neural Networks참고 문헌 23인용 수 14

한 줄 요약

이 논문은 그래프 웨이블릿과 가중 필터를 사용하여 그래프 주파수 성분 위에 주의 가중치를 학습하는 새로운 GNN인 스펙트럴 그래프 어텐션 네트워크(SpGAT)를 제안한다. 이는 GAT보다 훨씬 적은 파rameter로 효율적인 전역 패턴 캡처를 가능하게 하며, 스펙트럼 도메인 주의를 활용해 준 supervision이 있는 노드 분류에서 최고 성능을 달성한다.

ABSTRACT

Variants of Graph Neural Networks (GNNs) for representation learning have been proposed recently and achieved fruitful results in various fields. Among them, graph attention networks (GATs) first employ a self-attention strategy to learn attention weights for each edge in the spatial domain. However, learning the attentions over edges only pays attention to the local information of graphs and greatly increases the number of parameters. In this paper, we first introduce attentions in the spectral domain of graphs. Accordingly, we present Spectral Graph Attention Network (SpGAT) that learn representations for different frequency components regarding weighted filters and graph wavelets bases. In this way, SpGAT can better capture global patterns of graphs in an efficient manner with much fewer learned parameters than that of GAT. We thoroughly evaluate the performance of SpGAT in the semi-supervised node classification task and verified the effectiveness of the learned attentions in the spectral domain.

연구 동기 및 목표

• 모서리 간선 수준의 주의에 의존함으로써 전역 그래프 패턴을 포착하는 데 한계가 있는 그래프 어텐션 네트워크(GAT)의 문제를 해결하기 위해.
• 공간 도메인에서 주의 메커니즘을 스펙트럼 도메인으로 이동시켜 GNN의 학습 가능한 파arameter 수를 줄이기 위해.
• 웨이블릿 기반과 가중 필터를 사용해 그래프 주파수 성분에 주의 메커니즘을 적용하는 효과성을 탐색하기 위해.
• 준 supervision이 있는 노드 분류 작업에서 표현 학습의 효율성과 성능을 향상시키기 위해.

제안 방법

• 그래프 웨이블릿을 사용해 그래프의 다양한 주파수 성분 위에 주의 가중치를 계산하는 스펙트럼 도메인 주의 메커니즘을 도입한다.
• 표현 학습 중 각 주파수 성분에 할당할 중요도를 학습하기 위해 가중 필터를 활용한다.
• 그래프 웨이블릿 기반을 사용해 그래프 신호를 별개의 주파수 대역으로 분해함으로써 주파수 인식 주의를 가능하게 한다.
• 스펙트럼 주의와 메시지 전파를 조합하여 스펙트럼 도메인에서 그래프 전역에 걸쳐 특징을 집계한다.
• 모든 엣지가 아니라 각 주파수 성분 별로 주의 파arameter를 학습함으로써 모델 파arameter를 극적으로 줄인다.
• 스펙트럼 기반을 통해 미분 가능한 주의 메커니즘을 적용해 유의미한 주파수 성분을 동적으로 강조한다.

실험 결과

연구 질문

• RQ1 스펙트럼 도메인에 적용된 주의 메커니즘이 그래프 표현 학습에서 전역 패턴 캡처를 향상시키는가?
• RQ2 파arameter 효율성과 성능 측면에서 스펙트럼 주의는 공간 주의보다 어떻게 비교되는가?
• RQ3 주파수 성분에 대해 주의를 학습하면 준 supervision이 있는 노드 분류에서 더 나은 일반화 성능을 얻을 수 있는가?
• RQ4 공간 GAT보다 적은 파arameter로 스펙트럼 주의가 장거리 의존성을 효과적으로 포착할 수 있는가?

주요 결과

• SpGAT는 인용 네트워크 벤치마크에서 준 supervision이 있는 노드 분류에서 최고 성능을 달성한다.
• 스펙트럼 도메인에서 작동함으로써 표준 GAT에 비해 학습 가능한 파arameter 수를 크게 줄였다.
• 스펙트럼 주의는 GAT의 엣지 수준 주의보다 전역 그래프 구조를 더 효과적으로 포착할 수 있다.
• 스펙트럼 도메인에서 학습된 주의 가중치는 후속 작업에서 정보가 많은 주파수 성분을 강조하는 데 효과적이다.
• 특히 라벨이 제한된 상황에서 더 나은 일반화와 효율성을 보여주었다.