[논문 리뷰] A Note on Over-Smoothing for Graph Neural Networks

Chen Cai, Yusu Wang|arXiv (Cornell University)|2020. 06. 23.

Advanced Graph Neural Networks참고 문헌 19인용 수 96

한 줄 요약

본 논문은 Dirichlet 에너지를 이용해 비선형 GNN에서 과도한 매끄러움(over-smoothing)을 분석하고, 층이 증가함에 따라 임베딩이 식별력을 잃을 수 있음을 보이며, Leaky ReLU와 차원 변화에 대처하는 대안적 증명과 간선 연산에 대한 실험을 제시한다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved a lot of success on graph-structured data. However, it is observed that the performance of graph neural networks does not improve as the number of layers increases. This effect, known as over-smoothing, has been analyzed mostly in linear cases. In this paper, we build upon previous results \cite{oono2019graph} to further analyze the over-smoothing effect in the general graph neural network architecture. We show when the weight matrix satisfies the conditions determined by the spectrum of augmented normalized Laplacian, the Dirichlet energy of embeddings will converge to zero, resulting in the loss of discriminative power. Using Dirichlet energy to measure "expressiveness" of embedding is conceptually clean; it leads to simpler proofs than \cite{oono2019graph} and can handle more non-linearities.

연구 동기 및 목표

• 깊은 GNN에서의 과도한 매끄러움 연구를 촉진하고 그것이 식별력에 미치는 영향을 이해하려는 동기를 제공한다.
• 일반 활성화 함수를 갖는 비선형 GNN에 대한 기존 선형 분석을 확장한다.
• Dirichlet-에너지 기반 프레임워크를 통해 심층 GNN을 분석하고 특정 조건에서 지수적 에너지 감소를 보여준다.
• Leaky ReLU와 다양한 임베딩 차원에 대한 방법의 적용 가능성을 시연한다.

제안 방법

• 증강된 정규화 라플라시안으로 표현된 f_l(X) = ML P_l (P X) 형태로 각 GCN 레이어를 나타낸다.
• 계층을 따라 Dirichlet 에너지 E(X) = tr(X^T \\tilde{Δ} X)을 추적하여 표현력을 분석한다.
• λ가 증강된 라플라시안의 최소 비제로 고유값일 때 E(PX) ≤ (1−λ)^2 E(X)를 증명한다.
• 레이어 간 선형 변환의 영향을 한정하기 위해 E(XW) ≤ ||W^T||_2^2 E(X)를 보인다.
• Lipschitz 상수가 ≤ 1인 활성화에 대해 E(σ(X)) ≤ E(X)를 증명하며, ReLU와 Leaky ReLU를 포함하여 ReLU를 넘어서는 비선형성 처리가 가능하다.
• 주요 결과인 E(f_l(X)) ≤ s_l ¯λ E(X)와 보조정리 E(X^(l)) ≤ O((s ¯λ)^l)로 지수적 에너지 감소를 나타낸다.

실험 결과

연구 질문

• RQ1 비선형 활성화를 갖는 심층 GNN에서 과도한 매끄러움이 Dirichlet 에너지를 지수적으로 감소시키는가?
• RQ2 Dirichlet 에너지가 ReLU를 넘는 비선형 GNN의 임베딩 표현력을 깨끗하고 일반화 가능한 척도으로 제공할 수 있는가?
• RQ3 간선 연산과 가변 임베딩 차원이 Dirichlet 에너지 및 이에 따른 과도한 매끄럼에 어떤 영향을 미치는가?
• RQ4 Leaky ReLU 및 다른 비선형성이 Dirichlet-energy 기반 분석에서 처리 가능하고 다룰 수 있는가?

주요 결과

• Dirichlet 에너지가 층 수와 함께 특정 가중치 및 스펙트럼 조건 하에서 지수적으로 감소하여 식별력 손실로 이어진다.
• Dirichlet-energy 기반 접근법은 Leaky ReLU로 확장되며 일부 선행 연구와 달리 가변 임베딩 차원을 다룬다.
• 정규 그래프의 경우 이 분석은 ReLU를 넘어서는 일반적인 비선형성에 적용되며 기본적인 선형대수 증명 프레임워크를 제공한다.
• 다양한 그래프에 대한 실험 결과 간선을 제거하면 Dirichlet 에너지가 자주 증가하고, 몇 개의 간선 가중치를 매우 큰 값으로 올리는 것도 간선 제거와 비슷한 효과를 가져올 수 있다.