[논문 리뷰] Graph Neural Networks Exponentially Lose Expressive Power for Node Classification

Kenta Oono, Taiji Suzuki|arXiv (Cornell University)|2019. 05. 27.

Advanced Graph Neural Networks참고 문헌 57인용 수 184

한 줄 요약

논문은 레이어가 늘어남에 따라 그래프 신경망(GCN)의 표현력이 그래프 스펙트럼 특성으로 인해 기하급수적으로 약화되어 조밀한 그래프에서 정보 손실로 이어지며, 실제 데이터에 대해 검증된 가중치 정규화 가이드라인을 제안한다.

ABSTRACT

Graph Neural Networks (graph NNs) are a promising deep learning approach for analyzing graph-structured data. However, it is known that they do not improve (or sometimes worsen) their predictive performance as we pile up many layers and add non-lineality. To tackle this problem, we investigate the expressive power of graph NNs via their asymptotic behaviors as the layer size tends to infinity. Our strategy is to generalize the forward propagation of a Graph Convolutional Network (GCN), which is a popular graph NN variant, as a specific dynamical system. In the case of a GCN, we show that when its weights satisfy the conditions determined by the spectra of the (augmented) normalized Laplacian, its output exponentially approaches the set of signals that carry information of the connected components and node degrees only for distinguishing nodes. Our theory enables us to relate the expressive power of GCNs with the topological information of the underlying graphs inherent in the graph spectra. To demonstrate this, we characterize the asymptotic behavior of GCNs on the Erdős -- Rényi graph. We show that when the Erdős -- Rényi graph is sufficiently dense and large, a broad range of GCNs on it suffers from the "information loss" in the limit of infinite layers with high probability. Based on the theory, we provide a principled guideline for weight normalization of graph NNs. We experimentally confirm that the proposed weight scaling enhances the predictive performance of GCNs in real data. Code is available at https://github.com/delta2323/gnn-asymptotics.

연구 동기 및 목표

• 깊이가 증가함에 따라 그래프 신경망의 표현력이 어떻게 저하되는지 이해한다.
• GCN의 점근적 동작을 기저 그래프의 스펙트럼 특성과 연결한다.
• 조밀한 그래프와 Erdős–Rényi 그래프에서의 정보 손실을 caracteriza 한다.
• 그래프 뉴럴네트워크에서 과도한 스무딩 현상을 완화하기 위한 가이드라인으로서 원칙에 기반한 가중치 정규화를 제시한다.]
• Relate the asymptotic behavior of GCNs to the spectral properties of underlying graphs.
• Characterize information loss on dense graphs and Erdős–Rényi graphs.
• Provide principled guidelines for weight normalization to mitigate over-smoothing in graph NNs.

제안 방법

• GCN의 순전파를 노드 특징에 대한 선형 연산자 P 위에 구성된 MLP로서 동적 시스템으로 모델링한다.
• 비불변 부분공간 M = U ⊗ R^C를 정의하는데, 여기서 U는 비음수 직교 기저를 가지며 P-불변이다.
• d_M(f_l(X)) ≤ s_l λ d_M(X)임을 증명하는데, s_l은 층 가중치 특이값의 곱이고 λ는 확대된 정규화된 라플라시안의 스펙트럼과 관련된다.
• 확장된 정규화된 라플라시안 P를 갖는 GCN에 일반 결과를 특수화하고 X^(l)가 (sλ)^l의 속도로 M으로 수렴함을 보인다.
• Erdős–Rényi 그래프 G_{N,p}에 이 이론을 적용하여 정보 손실이 높아질 확률이 높은 조건을 도출한다.
• 스펙트럴 파라미터 λ에 기반한 가중치 정규화 가이드를 제시하고 실제 데이터에 대한 실증 검증을 제시한다.]
• Model forward propagation of a GCN as a dynamical system with an MLP composed over a linear operator P on node features.
• Define the invariant subspace M = U ⊗ R^C where U has non-negative orthonormal basis vectors and is P-invariant.
• Prove that d_M(f_l(X)) ≤ s_l λ d_M(X) where s_l is the product of layer weight singular values and λ relates to the spectrum of the augmented normalized Laplacian.
• Specialize the general result to GCNs with augmented normalized Laplacian P and show X^(l) converges toward M with rate (sλ)^l.
• Apply the theory to Erdős–Rényi graphs G_{N,p} to derive conditions under which information loss occurs with high probability.
• Provide a weight normalization guideline based on the spectral parameter λ and empirical verification on real data.]

실험 결과

연구 질문

• RQ1 깊이가 증가함에 따라 노드를 구별하는 능력을 잃는지에 대한 어떤 스펙트럼 조건이 있는가?
• RQ2 확장된 정규화된 라플라시안의 스펙트럼이 GCN에서 정보 보존 또는 손실을 어떻게 지배하는가?
• RQ3 원칙에 기반한 가중치 정규화가 과다 매끄러움을 상쇄하고 실제 그래프에서 심층 GCN 성능을 향상시킬 수 있는가?
• RQ4 Erdős–Rényi 그래프는 깊이에 의한 정보 손실을 보이는가, 그리고 그래프 밀도가 이 현상에 어떤 영향을 미치는가?

주요 결과

• GCN의 출력은 깊이가 증가함에 따라 고유한 하위공간 M에 묶인 저주파 그래프 라플라시안 성분과 연관되어 수렴한다.
• 불변 공간까지의 거리는 d_M(f_l(X)) ≤ (∏_h s_lh) λ d_M(X)로서, sλ < 1일 때 M으로의 기하급수적 수렴을 시사한다.
• 충분히 조밀하고 큰 Erdős–Rényi 그래프에서 다수의 GCN은 층이 늘어남에 따라 높은 확률로 정보 손실이 발생한다.
• 깊은 GCN이 판별 정보를 유지할지 무너질지 결정하는 가중치 스케일링 임계값 (sλ)가 존재한다.
• 이론에 의해 가이드된 가중치 정규화가 실제 데이터 세트(예: 합성으로 조밀한 코라 그래프, 그리고 실제 그래프의 노이즈 버전)에서 예측 성능을 향상시킬 수 있음을 실험적으로 보여준다.
• 분석은 그래프 NN의 표현력을 확장된 정규화된 라플라시안의 스펙트럼을 통해 위상 그래프 정보에 연결한다.