[논문 리뷰] Effective Training Strategies for Deep Graph Neural Networks.

Kuangqi Zhou, Yanfei Dong외 4명|arXiv (Cornell University)|2020. 06. 12.

Advanced Graph Neural Networks참고 문헌 1인용 수 21

한 줄 요약

이 논문은 깊이 있는 그래프 컬러지언 네트워크(GCNs)에서 성능 저하의 주요 원인으로 과적합과 학습 곤란을, 단지 과도한 스무딩 이외의 요인으로 규명한다. 이를 바탕으로 각 노드의 자체 통계를 사용해 노드를 정규화하는 Node Normalization(NodeNorm)을 제안한다. 이는 히든 임베딩 내 특성 간 상관관계를 줄이고, 모델의 스무딩 성능을 향상시키며, 학습을 안정화함으로써 깊은 GNN이 얕은 모델보다 뛰어난 성능을 낼 수 있도록 한다.

ABSTRACT

Graph Neural Networks (GNNs) tend to suffer performance degradation as model depth increases, which is usually attributed in previous works to the oversmoothing problem. However, we find that although oversmoothing is a contributing factor, the main reasons for this phenomenon are training difficulty and overfitting, which we study by experimentally investigating Graph Convolutional Networks (GCNs), a representative GNN architecture. We find that training difficulty is caused by gradient vanishing and can be solved by adding residual connections. More importantly, overfitting is the major obstacle for deep GCNs and cannot be effectively solved by existing regularization techniques. Deep GCNs also suffer training instability, which slows down the training process. To address overfitting and training instability, we propose Node Normalization (NodeNorm), which normalizes each node using its own statistics in model training. The proposed NodeNorm regularizes deep GCNs by discouraging feature-wise correlation of hidden embeddings and increasing model smoothness with respect to input node features, and thus effectively reduces overfitting. Additionally, it stabilizes the training process and hence speeds up the training. Extensive experiments demonstrate that our NodeNorm method generalizes well to other GNN architectures, enabling deep GNNs to compete with and even outperform shallow ones. Code is publicly available.

연구 동기 및 목표

• 깊이 있는 그래프 신경망에서 과도한 스무딩을 초월해 성능 저하의 근본 원인을 규명하는 것.
• 깊이 있는 GCN 학습에서 학습 곤란과 과적합이 주요 장애물임을 규명하는 것.
• 깊이 있는 GNN에서 과적합을 효과적으로 완화할 수 있는 정규화 기법을 개발하는 것.
• 깊이 있는 GCN 아키텍처에서의 학습 안정성과 속도 향상을 도모하는 것.
• 다양한 GNN 아키텍처에 일반화 가능한 방법을 제안하는 것.

제안 방법

• 학습 중 각 노드의 히든 표현을 해당 노드의 자체 통계를 기반으로 정규화하는 Node Normalization(NodeNorm)을 제안한다.
• 배치 기반의 노드별 배치 정규화를 적용하여 배치 내 각 노드별 평균과 분산을 계산함으로써, 히든 임베딩 내 특성 간 상관관계를 감소시킨다.
• 각 노드별로 독립적으로 작동하는 정규화 레이어를 도입하여 입력 특성에 대한 모델의 스무딩 성능을 향상시킨다.
• 기울기 소실 문제를 완화하기 위해 잔차 연결을 사용한다. 이는 학습 안정성을 향상시킨다.
• 잔차 연결과 NodeNorm을 결합하여 기울기 소실과 과적합을 동시에 해결한다.
• 노드별 통계를 기반으로 히든 표현의 스무딩과 상관관계 감소를 유도하는 학습 목표를 사용한다.

실험 결과

연구 질문

• RQ1 깊이 있는 GCNs에서 과도한 스무딩을 초월해 성능 저하의 주요 원인은 무엇인가?
• RQ2 학습 곤란과 과적합은 깊이 있는 GNN의 성능 저하에 얼마나 기여하는가?
• RQ3 기존의 정규화 기법으로 깊이 있는 GCNs의 과적합을 효과적으로 완화할 수 있는가?
• RQ4 노드별 정규화는 깊이 있는 GNN에서 학습 안정성과 일반화 성능을 어떻게 향상시키는가?
• RQ5 제안된 NodeNorm 방법은 다양한 GNN 아키텍처에 일반화되는가?

주요 결과

• 깊이 있는 GCNs에서의 학습 곤란은 주로 기울기 소실에 기인하며, 잔차 연결을 통해 효과적으로 완화된다.
• 과적합은 깊이 있는 GCNs에서 지배적인 장애물이며, 표준 정규화 기법으로는 충분히 해결되지 않는다.
• NodeNorm은 히든 임베딩 내 특성 간 상관관계를 억제함으로써 과적합을 크게 감소시킨다.
• NodeNorm은 입력 노드 특성에 대한 모델의 스무딩 성능을 향상시켜 일반화 성능을 향상시킨다.
• 잔차 연결과 NodeNorm의 조합은 학습을 안정화시키고 수렴 속도를 가속화한다.
• 광범위한 실험을 통해 깊이 있는 GNN에 NodeNorm을 적용한 결과, 다양한 벤치마크와 아키텍처에서 얕은 GNN을 능가하는 성능을 보였다.