[논문 리뷰] Graph Neural Networks Do Not Always Oversmooth

Bastian Epping, Alexandre René외 2명|arXiv (Cornell University)|2024. 01. 01.

Neural Networks and Applications인용 수 3

한 줄 요약

이 논문은 그래프 컬러션 네트워크(GCNs)가 충분히 큰 가중치 분산으로 초기화될 경우 본질적으로 과도하게 평균화되지 않음을 입증하며, 무한한 너비 근사에서의 가우시안 프로세스(GP) 등가성에 기반해 비과도화되는 단계를 규명한다. 피드포워드 네트워크에서의 정보 전파 깊이 개념을 GCNs로 일반화함으로써, 저자들은 깊은 GCNs가 유의미한 노드 특징을 유지하고 Cora에서 100층을 초월하는 최신 기술 성능을 달성할 수 있음을 보여주며, 유한 크기 모델에 대한 예측을 검증한다.

ABSTRACT

Graph neural networks (GNNs) have emerged as powerful tools for processing relational data in applications. However, GNNs suffer from the problem of oversmoothing, the property that the features of all nodes exponentially converge to the same vector over layers, prohibiting the design of deep GNNs. In this work we study oversmoothing in graph convolutional networks (GCNs) by using their Gaussian process (GP) equivalence in the limit of infinitely many hidden features. By generalizing methods from conventional deep neural networks (DNNs), we can describe the distribution of features at the output layer of deep GCNs in terms of a GP: as expected, we find that typical parameter choices from the literature lead to oversmoothing. The theory, however, allows us to identify a new, non-oversmoothing phase: if the initial weights of the network have sufficiently large variance, GCNs do not oversmooth, and node features remain informative even at large depth. We demonstrate the validity of this prediction in finite-size GCNs by training a linear classifier on their output. Moreover, using the linearization of the GCN GP, we generalize the concept of propagation depth of information from DNNs to GCNs. This propagation depth diverges at the transition between the oversmoothing and non-oversmoothing phase. We test the predictions of our approach and find good agreement with finite-size GCNs. Initializing GCNs near the transition to the non-oversmoothing phase, we obtain networks which are both deep and expressive.

연구 동기 및 목표

• GCNs에서의 과도한 평균화가 특정 초기화 조건 하에서는 피할 수 있는지 여부를 조사하는 것.
• 가우시안 프로세스 등가성을 활용해 완전히 연결된 DNNs에서의 정보 전파 깊이 개념을 GCNs로 확장하는 것.
• 무한 깊이에서 노드 특징이 여전히 정보가 풍부한 상태를 유지하는 비과도화되는 단계를 규명하는 것.
• 합성 및 실세계 그래프 벤치마크를 사용해 유한 크기의 GCNs에서 이론적 예측을 검증하는 것.
• 전이점 근처에서 초기화된 GCNs가 100층 이상의 깊이에서 높은 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 무한 너비 근사에서 GCNs의 가우시안 프로세스(GP) 등가성을 사용해 각 층에서의 노드 특징 분포를 모델링한다.
• GCN GP 동역학을 선형화하여 노드 쌍 간 특징 거리의 변화를 기술하는 연립 방정식을 유도한다.
• 선형화된 동역학의 고유값을 기반으로 한 안정성 분석을 통해 과도화되는 단계와 비과도화되는 단계 사이의 전이를 규명한다.
• 최대 고유값이 1을 초과하는 경우의 역수로 일반화된 전파 깊이를 정의하며, 이는 단계 전이점에서 발산한다.
• 평형 상태에서의 특징 거리 수치적 평가를 통해 비과도화가 시작되는 임계 가중치 분산 σ²_w,crit 를 특정한다.
• 맥락 기반 스토케스틱 블록 모델과 Cora 인용 네트워크를 사용해 유한 크기의 GCNs에서 예측을 테스트한다.

실험 결과

연구 질문

• RQ1 잔차 연결이나 정규화 없이도, 철저한 초기화 조건을 통해 GCNs에서의 과도한 평균화를 피할 수 있는가?
• RQ2 완전히 연결된 DNNs와 유사한 임계점에서 GCNs의 정보 전파 깊이가 발산하는가?
• RQ3 무한 깊이에서 노드 특징이 여전히 구별 가능하고 정보가 풍부한 비과도화 단계가 GCNs에 존재하는가?
• RQ4 실세계 그래프 구조를 가진 유한 크기의 GCNs에서 단계 전이의 이론적 예측을 검증할 수 있는가?
• RQ5 이동 연산자(Shift operator)의 선택이 비과도화 단계의 발생에 어떤 영향을 미치는가?

주요 결과

• 충분히 큰 가중치 분산으로 초기화된 GCNs는 무한 깊이에서 특징 거리가 유한하고 0이 아닌 값으로 수렴하는 비과도화 단계에 진입한다.
• Cora 데이터셋에 대해 임계 가중치 분산 σ²_w,crit ≈ 1 이 확인되었으며, 이는 과도화에서 비과도화로의 전이를 나타낸다.
• 전이점 근처에서 훈련된 GCN GPs는 100층 이상의 깊이에서 원래 GCN 연구 성능을 달성했으며, 정확도는 L = 100까지 증가했다.
• 비과도화 영역에서는 깊이가 증가할수록 일반화 오차가 감소하여 100층을 초월해도 향상되었다.
• 단계 전이점에서 전파 깊이가 발산함으로써 GCNs에서 임의로 깊은 정보 전파가 가능함을 시사한다.
• 이론적 프레임워크는 평형 상태에서의 특징 거리가 깊은 네트워크에서도 기반 그래프 구조를 반영한다는 것을 예측한다.