[논문 리뷰] Understanding and Resolving Performance Degradation in Graph Convolutional Networks

Kuangqi Zhou, Yanfei Dong외 5명|arXiv (Cornell University)|2020. 06. 12.

Advanced Graph Neural Networks참고 문헌 48인용 수 24

한 줄 요약

이 논문은 깊이 있는 그래프 컨volution 네트워크(GCNs)에서 성능 저하의 주요 원인이 전이 연산(TRANs)으로 인한 특성 분산 증폭임을 규명하며, 단지 전파(PROPs) 연산 때문만은 아님을 밝힌다. 이를 바탕으로 각 노드의 특성을 자체 표준편차로 스케일링하는 간단한 정규화 기법인 NodeNorm을 제안한다. 이는 분산 증폭을 효과적으로 제어하여 깊이 있는 GCN이 벤치마크 데이터셋에서 浅층 모델을 능가하도록 한다.

ABSTRACT

A Graph Convolutional Network (GCN) stacks several layers and in each layer performs a PROPagation operation (PROP) and a TRANsformation operation (TRAN) for learning node representations over graph-structured data. Though powerful, GCNs tend to suffer performance drop when the model gets deep. Previous works focus on PROPs to study and mitigate this issue, but the role of TRANs is barely investigated. In this work, we study performance degradation of GCNs by experimentally examining how stacking only TRANs or PROPs works. We find that TRANs contribute significantly, or even more than PROPs, to declining performance, and moreover that they tend to amplify node-wise feature variance in GCNs, causing variance inflammation that we identify as a key factor for causing performance drop. Motivated by such observations, we propose a variance-controlling technique termed Node Normalization (NodeNorm), which scales each node's features using its own standard deviation. Experimental results validate the effectiveness of NodeNorm on addressing performance degradation of GCNs. Specifically, it enables deep GCNs to outperform shallow ones in cases where deep models are needed, and to achieve comparable results with shallow ones on 6 benchmark datasets. NodeNorm is a generic plug-in and can well generalize to other GNN architectures. Code is publicly available at https://github.com/miafei/NodeNorm.

연구 동기 및 목표

• 깊이 있는 GCN에서 성능 저하에 기여하는 전이 연산(TRANs)의 부족한 평가받는 역할을 조사한다.
• 과도한 스무스닝과 기울기 소실 외의 성능 저하의 근본 원인을 규명한다.
• 노드 표현의 분산 증폭을 완화하는 일반적이고 즉각 적용 가능한 정규화 기법을 개발한다.
• 깊이 있는 GCN 훈련에서 노드별 특성 분산을 제어하는 것이 기존 정규화 방법보다 더 효과적임을 입증한다.

제안 방법

• 저자들은 GCN 레이어에서 TRANs 또는 PROPs만을 고립시켜 성능에 미치는 영향을 개별적으로 분석하기 위한 분석 실험을 설계한다.
• 각 노드의 은닉 특성을 자체 표준편차로 스케일링하는 정규화 방법인 NodeNorm을 도입한다: $\mathrm{NodeNorm}(\mathbf{h}_i) = \frac{\mathbf{h}_i}{\sigma_i}$, 여기서 $\sigma_i$는 노드 $i$의 특성 표준편차이다.
• NodeNorm을 LayerNorm 및 기타 변종과 비교하여 분산 스케일링 성분을 고립시켜 그 효과를 검증한다.
• 저자들은 다양한 조건(낮은 레이블 비율, 큰 지름을 가진 그래프 포함)에서 6개의 벤치마크 데이터셋에서 광범위한 실험을 수행한다.
• LayerNorm을 구성 요소(평균 제거, 분산 스케일링, 학습 가능한 파rameter)로 분해하여 핵심 메커니즘을 규명한다.
• 깊이에 따라 성능을 평가하여 NodeNorm이 더 깊은 모델이 얕은 모델을 능가하도록 한다.

실험 결과

연구 질문

• RQ1 깊이 있는 GCN은 표현 학습 능력이 있음에도 불구하고 성능 저하를 겪는 이유는 무엇인가?
• RQ2 전파 연산(PROPs)과 비교해 전이 연산(TRANs)이 GCN의 성능 저하에 기여하는 구체적인 기여도는 무엇인가?
• RQ3 훈련 중에 노드별 특성 분산이 증폭되는 것이 깊이 있는 GCN의 성능 저하에 기여하는가?
• RQ4 노드별 특성 분산을 제어하는 단순한 정규화 기법이 깊이 있는 GCN의 성능 저하 문제를 효과적으로 해결할 수 있는가?
• RQ5 NodeNorm은 분산 증폭을 다루고 모델 깊이 성능을 향상시키는 데 있어 LayerNorm과 같은 기존 정규화 방법보다 어떻게 비교되는가?

주요 결과

• PROPs보다 TRANs가 성능 저하에 더 크게 기여함을 규명하여, 일반적으로 과도한 스무스닝이 주요 원인이라 여겨지는 가정을 도전한다.
• TRANs는 레이어 간에 노드별 특성 분산을 증폭시켜 저자들이 '분산 증폭'이라 명명한 현상이 발생하며, 이는 성능 저하와 강하게 상관된다.
• 노드별 특성 분산이 높은 GCN은 분산이 낮은 경우보다 특히 깊이 있는 아키텍처에서 현저히 열 劣한 성능을 보인다.
• 각 노드의 특성을 자체 표준편차로 정규화하는 NodeNorm은 Cora, Citeseer, Pubmed에서 64층 GCN이 2층 GCN을 능가하도록 한다.
• 6개의 벤치마크 데이터셋에서 NodeNorm은 더 깊은 모델이 요구되는 경우조차 얕은 GCN과 비교해 유사하거나 더 뛰어난 성능을 달성한다.
• 분석 실험 결과, 평균 제거나 학습 가능한 파rameter보다 분산 스케일링이 정규화 효과의 핵심 요소임을 확인하였으며, 이는 분산 제어가 핵심 메커니즘이라는 것을 검증한다.