[논문 리뷰] Simple and Deep Graph Convolutional Networks

Ming Chen, Zhewei Wei외 3명|arXiv (Cornell University)|2020. 07. 04.

Advanced Graph Neural Networks인용 수 399

한 줄 요약

GCNII는 vanilla GCN에 초기 잔여 및 항등 매핑을 추가하여 진정한 깊은 그래프 네트워크를 가능하게 하고 과도한 평활화를 완화하며, 반지도 및 전체 지도 학습 작업에서 최첨단 결과를 달성합니다.

ABSTRACT

Graph convolutional networks (GCNs) are a powerful deep learning approach for graph-structured data. Recently, GCNs and subsequent variants have shown superior performance in various application areas on real-world datasets. Despite their success, most of the current GCN models are shallow, due to the {\em over-smoothing} problem. In this paper, we study the problem of designing and analyzing deep graph convolutional networks. We propose the GCNII, an extension of the vanilla GCN model with two simple yet effective techniques: {\em Initial residual} and {\em Identity mapping}. We provide theoretical and empirical evidence that the two techniques effectively relieves the problem of over-smoothing. Our experiments show that the deep GCNII model outperforms the state-of-the-art methods on various semi- and full-supervised tasks. Code is available at https://github.com/chennnM/GCNII .

연구 동기 및 목표

• 얕은 모델에서의 과도한 평활화에도 불구하고 깊은 GCN의 설계를 고무한다.
• 깊은 GCN을 가능하게 하기 위한 두 가지 간단한 기법—초기 잔여 및 항등 매핑—를 제안한다.
• 다층 GCN의 이론적 분석과 GCNII의 표현력 및 수렴 특성을 제시한다.
• 여러 데이터셋과 깊이에 걸쳐 GCNII가 최첨단 방법들보다 실험적 이점을 보여준다.

제안 방법

• 입력층에서 각 층으로 초기 잔여 연결을 추가하여 GCNII를 도입한다.
• 층 가중치 행렬에 항등 매핑 항을 추가하여 학습 가능성과 표현력을 향상시킨다.
• 고정 재정규화 전파 행렬 ˜P를 사용하여 학습하고 층별 계수는 매개변수를 통해 학습하며, 각 층마다 두 하이퍼파라미터 α와 β를 도입한다.
• 다층 GCN의 정지 상태와 수렴을 이론적으로 분석하고, 표준 GCN 하에서 차수 높은 노드가 더 빨리 수렴하는 것을 보이며, GCNII가 임의 계수의 K차 다항 필터를 표현할 수 있음을 보인다(정리 2).
• 모델을 반복적 수축-임계화(iterative shrinkage-thresholding) 및 ResNet 스타일 아키텍처와 관련지어 초기화와 건너뛰기 연결을 정당화한다.

실험 결과

연구 질문

• RQ1 Can a GCN be made truly deep without succumbing to over-smoothing, by introducing simple architectural changes?
• RQ2 Do initial residual connections and identity mappings enable GCNs to express richer polynomial filters and maintain information from input features as depth grows?
• RQ3 What are the theoretical implications for stationarity, convergence, and dependency on node degree in deep GCN variants?
• RQ4 How does GCNII perform compared to state-of-the-art models across semi-supervised and full-supervised node classification datasets and varying depths?

주요 결과

• GCNII achieves state-of-the-art results on Cora, Citeseer, and Pubmed for semi-supervised node classification (example results: GCNII 85.5±0.5 on Cora, 73.4±0.6 on Citeseer, 80.2±0.4 on Pubmed).
• GCNII* (a variant) attains comparable performance with slightly different parameterization.
• GCNII enables deep networks (up to 64 layers) with consistent improvements over shallow baselines and other deep models; e.g., 64-layer GCNII reaches 85.5 on Cora and 80.2 on Pubmed.
• Theoretical results show a K-layer GCN tends to converge to a stationary vector; GCNII can express a K-order polynomial filter with arbitrary coefficients, addressing expressive power limitations of vanilla GCN (Theorem 2).
• The stationary convergence rate in vanilla GCN is influenced by node degree, with higher-degree nodes more prone to over-smoothing (Conjecture 1 and Theorem 1 discussion).
• Empirical results indicate that deep GCNII consistently outperforms baselines across datasets and depths, and can surpass DropEdge and JKNet variants in deep regimes.