[논문 리뷰] A Non-Asymptotic Analysis of Oversmoothing in Graph Neural Networks

Xinyi Wu, Zhengdao Chen외 2명|arXiv (Cornell University)|2022. 12. 21.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 그래프 신경망(GNN)에서 과도하게 부드러워지는 현상(oversmoothing)에 대해 점 渐차적 분석을 제공하며, 같은 클래스의 노드를 균일화하는 바람직한 노이즈 제거 효과와 다른 클래스의 노드를 균일화하는 바람직하지 않은 혼합 효과 사이의 구분을 시도한다. 과도하게 부드러워지는 현상은 혼합 효과가 노이즈 제거 효과를 압도할 때 발생하며, 밀도 높은 그래프의 경우 임계 깊이 임계점은 $O(\log N / \log \log N)$이다. 또한 PPR(Personalized PageRank)가 이 상호보완적 관계에 미치는 영향을 분석한다.

ABSTRACT

Oversmoothing is a central challenge of building more powerful Graph Neural Networks (GNNs). While previous works have only demonstrated that oversmoothing is inevitable when the number of graph convolutions tends to infinity, in this paper, we precisely characterize the mechanism behind the phenomenon via a non-asymptotic analysis. Specifically, we distinguish between two different effects when applying graph convolutions -- an undesirable mixing effect that homogenizes node representations in different classes, and a desirable denoising effect that homogenizes node representations in the same class. By quantifying these two effects on random graphs sampled from the Contextual Stochastic Block Model (CSBM), we show that oversmoothing happens once the mixing effect starts to dominate the denoising effect, and the number of layers required for this transition is $O(\log N/\log (\log N))$ for sufficiently dense graphs with $N$ nodes. We also extend our analysis to study the effects of Personalized PageRank (PPR), or equivalently, the effects of initial residual connections on oversmoothing. Our results suggest that while PPR mitigates oversmoothing at deeper layers, PPR-based architectures still achieve their best performance at a shallow depth and are outperformed by the graph convolution approach on certain graphs. Finally, we support our theoretical results with numerical experiments, which further suggest that the oversmoothing phenomenon observed in practice can be magnified by the difficulty of optimizing deep GNN models.

연구 동기 및 목표

• 과도하게 부드러워짐이 무한 깊이에서만 발생할 것이라는 점 渐차적 분석과는 반대로, 얕은 깊이에서 왜 발생하는지 이해하는 것.
• 그래프 컨볼루션의 두 상반된 효과인 노이즈 제거(같은 클래스의 노드를 균일화함)와 혼합(다른 클래스의 노드를 균일화함) 사이의 상호작용을 정량화하는 것.
• GNN 성능이 과도하게 부드러워짐으로 인해 저하되기 전에 최적 성능을 보이는 '최적 깊이'를 이론적으로 예측하는 것.
• Personalized PageRank(PPR)와 잔차 연결이 깊은 GNN에서 과도하게 부드러워짐을 완화하는 데 미치는 영향을 평가하는 것.

제안 방법

• 저자들은 알려진 커뮤니티 구조와 진짜 레이블을 갖는 랜덤 그래프를 생성하기 위해 문맥 기반 스토케스틱 블록 모델(CSBM)을 사용한다.
• GNN 깊이에 따른 두 효과인 노이즈 제거 효과(내부 클래스 분산 감소)와 혼합 효과(교차 클래스 거리 증가)를 정의하고 정량화한다.
• 이론적 분석을 통해 혼합 효과가 노이즈 제거 효과를 초월하는 깊이를 유도하며, 밀도 높은 그래프의 경우 임계점이 $O(\log N / \log \log N)$임을 보여준다.
• PPR 기반 GNN으로의 분석을 확장하여, PPR이 각 레이어당 혼합 효과를 감소시키지만 노이즈 제거 효과도 동시에 감소시킴을 보여준다.
• 이론적 예측은 합성 CSBM 그래프와 실제 데이터셋(Cora, CiteSeer, PubMed)에서의 수치 실험을 통해 검증된다.
• 다양한 메시지 전달 방식(랜덤 워크 대비 대칭 컨볼루션) 하에서 노드 표현의 분산 역학을 분석하여, 일부 경우에서 비단조화적 행동을 보임을 확인한다.

실험 결과

연구 질문

• RQ1 GNN에서 과도하게 부드러워짐이 성능에 지배적인 영향을 미치기 시작하는 깊이는 언제이며, 이 임계점은 무엇에 의해 결정되는가?
• RQ2 네트워크 깊이에 따라 그래프 컨볼루션의 노이즈 제거 효과와 혼합 효과가 어떻게 상호작용하는가?
• RQ3 깊은 GNN에서 성능 저하가 주로 과도하게 부드러워짐 때문인지, 아니면 최적화 어려움이 주요 혼동 요인인지 여쭤보는 것.
• RQ4 Personalized PageRank(PPR)가 과도하게 부드러워짐을 어느 정도 완화하며, 더 깊은 GNN 아키텍처가 표준 GCN 아키텍처를 능가할 수 있도록 할 수 있는가?
• RQ5 왜 많은 GNN이 점 渐차적 분석이 더 깊은 모델이 더 나을 것으로 예측하는 바와는 달리 얕은 깊이에서 최고 성능을 내는가?

주요 결과

• 과도하게 부드러워짐은 무한 레이어에 걸쳐 혼합 효과가 축적되기 때문이 아니라, 혼합 효과가 노이즈 제거 효과를 지배하기 시작할 때 발생하며, 밀도 높은 그래프의 경우 이 임계 깊이는 $O(\log N / \log \log N)$이다.
• 노이즈 제거 효과는 매우 빠르게 포화 상태에 도달하며(단 몇 레이어 내로), 반면 혼합 효과는 계속 증가하여 깊은 네트워크에서 성능 저하를 초래한다.
• PPR 기반 GNN은 각 레이어당 혼합 효과를 감소시키고 깊이에 대한 내성 강도를 높이지만, 여전히 얕은 깊이에서 최적 성능을 내며, 일부 그래프에서는 표준 GCN보다 성능이 열 劣하다.
• 수치 실험은 실질적인 과도하게 부드러워짐이 이론적 메커니즘 외에도 깊은 GNN에서의 최적화 어려움으로 인해 악화됨을 확인한다.
• 랜덤 워크 컨볼루션 하에서 노드 표현의 분산은 깊이에 따라 항상 단조롭게 감소하지는 않지만, 대칭 컨볼루션 하에서는 감소함을 보이며, 이는 분산 역학에 구조적 의존성이 있음을 시사한다.
• Cora, CiteSeer, PubMed에서의 실증 결과는 혼합 효과와 노이즈 제거 효과가 깊이에 따라 증가함을 보이며, 노이즈 제거 효과는 조기에 포화 상태에 도달하고 혼합 효과는 점진적으로 증가함을 확인하여 이론적 상호보완 관계를 뒷받침한다.