[논문 리뷰] Understanding Graph Neural Networks from Graph Signal Denoising Perspectives

Guoji Fu, Yifan Hou외 4명|arXiv (Cornell University)|2020. 06. 08.

Advanced Graph Neural Networks참고 문헌 27인용 수 12

한 줄 요약

이 논문은 그래프 신경망(GNNs)을 그래프 신호 정화(GSD) 문제를 해결하는 것으로 통합 이론적 프레임워크를 제안한다: 스펙트럼 그래프 컨볼루션은 노드 특징을 정화하고 부드럽게 하고, 그래프 어텐션 메커니즘은 간선 가중치를 정화한다. 이 프레임워크는 GSDN-F와 GSDN-EF라는 두 가지 새로운 모델로 이어지며, 노이즈가 있는 그래프에서 정화와 스무딩의 균형을 이루는 데 성능이 뛰어나며, 제어된 노이즈 수준을 가진 벤치마크 데이터셋에서 광범위한 실험을 통해 검증된다.

ABSTRACT

Graph neural networks (GNNs) have attracted much attention because of their excellent performance on tasks such as node classification. However, there is inadequate understanding on how and why GNNs work, especially for node representation learning. This paper aims to provide a theoretical framework to understand GNNs, specifically, spectral graph convolutional networks and graph attention networks, from graph signal denoising perspectives. Our framework shows that GNNs are implicitly solving graph signal denoising problems: spectral graph convolutions work as denoising node features, while graph attentions work as denoising edge weights. We also show that a linear self-attention mechanism is able to compete with the state-of-the-art graph attention methods. Our theoretical results further lead to two new models, GSDN-F and GSDN-EF, which work effectively for graphs with noisy node features and/or noisy edges. We validate our theoretical findings and also the effectiveness of our new models by experiments on benchmark datasets. The source code is available at \url{https://github.com/fuguoji/GSDN}.

연구 동기 및 목표

• 스펙트럼 및 비스펙트럼 GNN이 노드 표현 학습에 어떻게 작용하는지에 대한 통합 이론적 이해를 제공하는 것.
• 노이즈가 있는 노드 특징이나 간선 가중치가 존재할 때 GNN이 왜 노드 분류 작업에서 잘 작동하는지 설명하는 것.
• 스펙트럼 및 비스펙트럼 GNN 간 격차를 그래프 신호 정화(GSD) 관점에서 통합된 메커니즘으로 브리지하는 것.
• 노드 특징과 간선 가중치의 정화를 명시적으로 최적화하는 새로운 GNN 모델을 설계하여, 노이즈가 있는 그래프에서의 강건성을 향상시키는 것.

제안 방법

• 노이즈가 있는 노드 특징에 대해 그래프 신호 정화 문제의 해를 다항식 근사로 해석함으로써, 스펙트럼 그래프 컨볼루션(GCN, SGC, ChebyNet 등)을 수식화한다.
• 그래프 어텐션 메커니즘(GAT, AGNN 등)을 노이즈가 있는 간선 가중치에 대한 정화 문제를 암묵적으로 해결하는 것으로 모델링한다.
• 학습 가능한 트레이드오프 파라미터 α를 통해 노드 특징 정화와 스무딩을 명시적으로 균형 잡는 GSDN-F를 제안한다.
• 학습 가능한 어텐션 메커니즘을 통해 선형 간선 정화를 적용함으로써 비선형 그래프 어텐션과 경쟁하는 GSDN-EF를 제안한다.
• GNN이 두 가지 별개의 GSD 문제를 해결하는 것으로 해석되는 통합 이론적 프레임워크를 도입한다: 하나는 노드 특징용이고, 다른 하나는 간선 가중치용이다.
• 노이즈가 있는 노드 특징과 간선을 가진 벤치마크 데이터셋에서 이론적 분석과 실증 평가를 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 노드 특징이 존재할 때 스펙트럼 그래프 컨volution 네트워크(SGCNs)는 노드 표현 학습에 어떻게 기여하는가?
• RQ2 그래프 어텐션 네트워크(GANNs)는 특징 집합만으로는 아니라 간선 가중치 정화를 통해 성능을 얼마나 향상시키는가?
• RQ3 그래프 신호 정화의 관점에서 스펙트럼 및 비스펙트럼 GNN을 둘 다 설명할 수 있는 통합 이론적 프레임워크가 가능한가?
• RQ4 비선형 그래프 어텐션과 경쟁할 수 있는 성능을 달성하기 위해 선형 어텐션 메커니즘이 충분한가?
• RQ5 노드 특징 정화와 스무딩 간의 트레이드오프는 다양한 노이즈 수준에서 GNN 성능에 어떻게 영향을 미치는가?

주요 결과

• GCN, SGC, ChebyNet의 스펙트럼 그래프 컨볼루션은 노이즈가 있는 노드 특징을 정화하고 스무딩하는 역할을 하며, 노이즈 수준이 높을수록 성능 향상이 커진다.
• GAT과 AGNN의 그래프 어텐션 메커니즘은 간선 가중치에 대한 그래프 신호 정화 문제를 암묵적으로 해결하며, 간선에 노이즈가 있는 그래프에서 성능 향상이 뚜렷하다.
• 노이즈가 있는 노드 특징이 존재하는 그래프에서 GSDN-F는 GCN과 SGC와 비교해 유사하거나 더 뛰어난 성능을 보이며, 특히 노이즈 수준이 높을 경우 그 명시적 정화 능력 덕분이다.
• 선형 간선 정화 메커니즘을 적용한 GSDN-EF는 노이즈가 있는 간선 그래프에서 GAT과 AGNN와 유사한 성능을 보이며, 비선형 어텐션은 효과적인 간선 정화에 필수적이지 않음을 시사한다.
• 노드 특징과 간선이 모두 노이즈가 있는 경우, α=1.2로 설정된 GSDN-F와 GSDN-EF가 모든 베이스라인을 능가하며, 특히 높은 노이즈 수준에서 성능이 뛰어나, 이러한 환경에서는 정화가 스무딩보다 더 중요하다는 점을 확인한다.
• 실증 결과는 GNN이 암묵적으로 그래프 신호 정화 문제를 해결한다는 이론적 주장이 타당함을 검증하며, 성능 향상은 정화 능력과 직접적으로 연관되어 있다.