[논문 리뷰] A New Perspective on the Effects of Spectrum in Graph Neural Networks

Mingqi Yang, Yanming Shen외 4명|arXiv (Cornell University)|2021. 12. 14.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 GNN 성능에서 스펙트럼의 매끄러움이 핵심 요소임을 규명하며, 스펙트럼이 매끄럽지 않으면 신호 상관관계가 발생하여 필터의 표현력과 깊이를 제한함을 보여준다. 저자들은 상관관계가 없는 아키텍처를 제안하며, 학습 가능한 스펙트럼 최적화 그래프 행렬을 도입하여 더 깊고 안정적인 모델을 구현하고 그래프 표현 학습 작업에서 성능을 크게 향상시킨다.

ABSTRACT

Many improvements on GNNs can be deemed as operations on the spectrum of the underlying graph matrix, which motivates us to directly study the characteristics of the spectrum and their effects on GNN performance. By generalizing most existing GNN architectures, we show that the correlation issue caused by the $unsmooth$ spectrum becomes the obstacle to leveraging more powerful graph filters as well as developing deep architectures, which therefore restricts GNNs' performance. Inspired by this, we propose the correlation-free architecture which naturally removes the correlation issue among different channels, making it possible to utilize more sophisticated filters within each channel. The final correlation-free architecture with more powerful filters consistently boosts the performance of learning graph representations. Code is available at https://github.com/qslim/gnn-spectrum.

연구 동기 및 목표

• 스펙트럼 특성, 특히 스펙트럼이 매끄럽지 않아 신호 상관관계가 발생하고 성능 저하가 유도되는 방식이 GNN 성능에 미치는 영향을 조사하기 위해.
• 기존 GNN 모델이 상관관계를 완화하는 것과 강력한 그래프 필터를 적용하는 것 사이의 상충관계로 인해 제한됨을 규명하기 위해.
• 상관관계 문제를 필터 설계에서 분리함으로써 보다 고도화된 필터를 사용할 수 있도록 하는 새로운 아키텍처를 제안하기 위해.
• 다항식 필터의 근사 능력을 향상시키기 위해 그래프 행렬 기저를 재정의하여 고차원 스펙트럼 성분을 지원하기 위해.
• 스펙트럼 인식 행렬 설계를 통해 다양한 깊이와 랜덤 시드에서 모델의 안정성과 성능을 향상시키기 위해.

제안 방법

• 채널별 독립적인 그래프 컨볼루션 연산을 도입함으로써 필터 설계를 스펙트럼 상관관계에서 분리한 상관관계가 없는 아키텍처를 제안한다.
• 스펙트럼이 더 매끄럽고 제어 가능하며 기존 정규화된 인cidience 행렬보다 우수한 $\tilde{A}_{\rho}$ 라는 새로운 그래프 행렬 표현 방식을 도입하며, 이는 $\rho$ 에 의해 매개변수화된다.
• $\tilde{A}_{\rho}$ 에 적용된 다항식 필터에 학습 가능한 필터 계수를 사용함으로써 복잡한 그래프 필터를 더 잘 근사할 수 있도록 한다.
• 표준 $\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2}$ 를 $\tilde{A}_{\rho}$ 로 대체하여 스펙트럼 기저의 다양성을 향상시키고 고차원 다항식 기저를 지원한다.
• 새로운 아키텍처를 노드 및 그래프 분류 작업에 적용하여 깊이, 필터 순서, 랜덤 시드에 따른 성능을 비교한다.
• ablation 연구를 수행하여 $\rho$, $k$, 행렬 선택이 모델의 안정성과 일반화 능력에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 그래프 행렬의 스펙트럼 매끄러움이 신호 상관관계와 GNN 성능에 어떤 영향을 미치는가?
• RQ2 기존 GNN 모델은 이론적으로는 표현력이 뛰어나지만 왜 더 강력한 필터를 활용하지 못하는가?
• RQ3 상관관계 문제를 필터 설계에서 분리함으로써 더 깊고 효과적인 GNN 아키텍처를 설계할 수 있는가?
• RQ4 다양한 그래프 행렬 표현 방식이 다항식 필터의 근사 능력에 어떤 영향을 미치는가?
• RQ5 스펙트럼 매끄러움이 다양한 랜덤 시드와 깊이 설정에서 모델 안정성에 어떤 역할을 하는가?

주요 결과

• 상관관계가 없는 아키텍처에 $\tilde{A}_{\rho}$ 를 적용한 결과 ZINC에서 테스트 MAE가 0.07 이하로 떨어졌으며, 공유 필터 기반 베이스라인(0.150) 및 기타 변종보다 뛰어난 성능을 보였다.
• idp + $\tilde{A}_{\rho}$ 구성에서 MAE가 약 0.088 수준으로 유효하게 낮아졌으며, 기존 베이스라인(0.11)보다 유의미하게 낮았다.
• 상관관계가 없는 설정에서는 다항식 순서 $k$ 를 증가시킬수록 성능 향상이 일관되게 관찰되었으며, 공유 필터 설정에서는 성능 향상이 정점에 도달해 더 이상 향상되지 않았다.
• 상관관계가 없는 모델은 25층까지 깊이가 증가하더라도 안정적인 성능을 유지하는 반면, 공유 필터 모델은 20층을 초과하면 급격히 성능이 떨어졌다.
• $\tilde{A}_{\rho}$ 와 $\tilde{D}^{\epsilon}\tilde{A}\tilde{D}^{\epsilon}$ 의 경우 런에 따른 표준편차가 0.01 이하였고, $\tilde{D}^{-1/2}\tilde{A}\bar{D}^{-1/2}$ 는 0.02를 초과하여 더 높은 안정성을 보였다.
• $\rho=1/6, k=18$ 조합에서 MAE가 가장 낮아, $\rho \times k$ 를 제어함으로써 고차원 스펙트럼 기저를 더 효과적으로 활용할 수 있음을 보여주었다.