[논문 리뷰] On Provable Benefits of Depth in Training Graph Convolutional Networks

Weilin Cong, Morteza Ramezani외 1명|arXiv (Cornell University)|2021. 10. 28.

Advanced Graph Neural Networks참고 문헌 56인용 수 17

한 줄 요약

이 논문은 기존의 깊이가 그래프 컨volution 네트워크(GCNs)의 성능을 떨어뜨린다고 보는 믿음에 도전하며, 적절한 훈련을 통해 깊은 GCNs가 증명 가능하게 표현력이 뛰어나고 높은 훈련 정확도를 달성할 수 있음을 입증한다. 표현력을 유지하고 일반화 성능을 향상시키기 위해 특성 전파와 가중치 학습을 분리한 분리형(GCN) 아키텍처를 제안하였으며, 이는 합성 및 실세계 데이터셋에서 경험적으로 검증되었다.

ABSTRACT

Graph Convolutional Networks (GCNs) are known to suffer from performance degradation as the number of layers increases, which is usually attributed to over-smoothing. Despite the apparent consensus, we observe that there exists a discrepancy between the theoretical understanding of over-smoothing and the practical capabilities of GCNs. Specifically, we argue that over-smoothing does not necessarily happen in practice, a deeper model is provably expressive, can converge to global optimum with linear convergence rate, and achieve very high training accuracy as long as properly trained. Despite being capable of achieving high training accuracy, empirical results show that the deeper models generalize poorly on the testing stage and existing theoretical understanding of such behavior remains elusive. To achieve better understanding, we carefully analyze the generalization capability of GCNs, and show that the training strategies to achieve high training accuracy significantly deteriorate the generalization capability of GCNs. Motivated by these findings, we propose a decoupled structure for GCNs that detaches weight matrices from feature propagation to preserve the expressive power and ensure good generalization performance. We conduct empirical evaluations on various synthetic and real-world datasets to validate the correctness of our theory.

연구 동기 및 목표

• GCNs의 깊이를 늘일수록 과도한 스무딩으로 인해 표현력이 떨어진다는 일반적인 믿음이 실제로 성립하는지 조사하는 것.
• 적절히 훈련되었을 때 높은 훈련 정확도를 달성하는 데도 깊은 GCNs가 일반화 성능이 떨어지는 이유를 이해하는 것.
• 표현력의 유지와 일반화 성능 향상을 위한 이론적으로 탄탄한, 분리된 GCN 아키텍처를 개발하는 것.
• 반감도 분류에서 GCNs의 일반화 성능을 새롭게 분석하여 훈련 전략에 의해 유도되는 성능 저하를 규명하는 것.
• 이론적 주장들을 합성 및 실세계 그래프 데이터셋에서 광범위한 경험적 평가를 통해 검증하는 것.

제안 방법

• GCNs의 표현 능력을 공식적으로 기술하기 위해 Weisfeiler-Lehman(WL) 그래프 이sovomorphism 테스트를 사용하여, 더 깊은 모델이 얕은 모델보다 적어도 동일한 표현력을 지닌다는 것을 보여준다.
• 적절한 훈련 조건 하에서 더 깊은 GCNs가 선형 수렴 속도로 전역 최적해에 수렴할 수 있음을 증명하여, 과도한 스무딩이 성능 저하의 주요 원인이 아니라는 것을 시사한다.
• 학습 가능한 가중치 행렬과 그래프 전파 메커니즘을 분리함으로써 표현력과 최적화 다이내믹스를 분리하는 분리형 GCN 아키텍처를 제안한다.
• 반감도 분류 하에서 일반화 분석 프레임워크를 활용하여, 깊은 GCNs에서의 열악한 일반화 성능이 특정 훈련 전략이 일반화 능력을 떨어뜨리는 데 기인함을 연결한다.
• 변형된 모델과 원본 모델 간의 기울기 차이에 대한 이론적 경계를 유도하여, 일반화 오차가 모델 깊이와 파라미터 민감도에 의해 제어됨을 보여준다.
• Cora, PubMed, Reddit 및 합성 데이터셋에서의 경험적 평가를 통해 이론을 검증하였으며, 기존 GCNs와 제안된 분리형 변형 간의 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 GCNs의 깊이를 늘릴수록 과도한 스무딩으로 인해 표현력이 떨어지는가, 아니면 이론적 단순화에 기반한 오해인가?
• RQ2 깊은 GCNs가 복잡한 표현을 학습할 수 있음에도 불구하고, 고정밀도 훈련 정확도를 달성하면서도 일반화 성능이 열악한 이유는 무엇인가?
• RQ3 GCNs에 대한 구조적 수정을 통해 표현력과 최적화 다이내믹스를 분리하여 일반화 성능을 향상시키고 훈련 정확도를 유지할 수 있는가?
• RQ4 드롭아웃과 가중치 감소와 같은 훈련 전략이 깊은 GCNs의 일반화 능력에 미치는 영향은 무엇이며, 이를 이론적으로 분석할 수 있는가?
• RQ5 제안된 분리형 GCN 아키텍처는 표준 GCNs에 비해 일반화 성능에서 어느 정도 뛰어나며, 높은 훈련 정확도를 유지할 수 있는가?

주요 결과

• Weisfeiler-Lehman 프레임워크 하에서 더 깊은 GCNs는 얕은 GCNs가 구분하지 못하는 이웃 구조가 다른 노드를 식별할 수 있어, 증명 가능하게 더 표현력이 뛰어나다.
• 충분한 훈련 반복을 통해 더 깊은 GCNs에서 높은 훈련 정확도를 달성할 수 있으며, 이는 과도한 스무딩이 성능 저하의 근본 원인이 아님을 시사한다.
• 드롭아웃과 가중치 감소와 같은 훈련 전략은 일반화 성능을 떨어뜨리는 정규화 효과를 유도하여 깊은 GCNs의 일반화 성능이 심각하게 악화된다.
• 특성 전파와 가중치 학습을 분리한 제안된 분리형 GCN 아키텍처는 다양한 벤치마크 데이터셋에서 높은 훈련 정확도를 유지하면서도 더 나은 일반화 성능을 달성한다.
• Cora, PubMed, Reddit 및 합성 그래프에서의 경험적 결과는 분리형 아키텍처가 표준 GCNs보다 일반화 성능에서 뚜렷이 뛰어나다는 것을 확인하였으며, 특히 깊은 설정에서 두드러진다.
• 이론적 분석은 더 깊은 GCNs에서 기울기 차이가 깊이와 파라미터 민감도에 따라 유계임을 보여주며, 일반화 문제의 근본 원인이 표현력의 한계가 아니라 훈련 다이내믹스임을 뒷받침한다.