[논문 리뷰] Training Matters: Unlocking Potentials of Deeper Graph Convolutional Neural Networks

Sitao Luan, Mingde Zhao외 2명|arXiv (Cornell University)|2020. 08. 20.

Advanced Graph Neural Networks참고 문헌 30인용 수 7

한 줄 요약

이 논문은 깊이 있는 그래프 컬러션 네트워크(GCNs)가 본질적인 표현 능력으로 인해 제한된다는 일반적인 믿음을 도전하며, 오히려 역전파 중 그래프 신호 에너지 손실으로 인한 학습 곤란이 근본 원인임을 규명한다. 저자들은 추가적인 파rameter 없이 그래프 구조 재스케일링, 가중치 정규화, 에너지 정규화, 스킵 연결을 도입함으로써 학습 곤란을 크게 줄이고, 모델 용량을 변경하지 않은 채 노드 분류 작업에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

The performance limit of Graph Convolutional Networks (GCNs) and the fact that we cannot stack more of them to increase the performance, which we usually do for other deep learning paradigms, are pervasively thought to be caused by the limitations of the GCN layers, including insufficient expressive power, etc. However, if so, for a fixed architecture, it would be unlikely to lower the training difficulty and to improve performance by changing only the training procedure, which we show in this paper not only possible but possible in several ways. This paper first identify the training difficulty of GCNs from the perspective of graph signal energy loss. More specifically, we find that the loss of energy in the backward pass during training nullifies the learning of the layers closer to the input. Then, we propose several methodologies to mitigate the training problem by slightly modifying the GCN operator, from the energy perspective. After empirical validation, we confirm that these changes of operator lead to significant decrease in the training difficulties and notable performance boost, without changing the composition of parameters. With these, we conclude that the root cause of the problem is more likely the training difficulty than the others.

연구 동기 및 목표

• 깊이 있는 GCNs가 본질적인 표현 능력으로 인해 제한된다는 가정을 도전하기 위해.
• 특히 역전파 중 신호 에너지 손실으로 인한 학습 곤란이 깊이 있는 GCNs의 성능을 저해하는지 조사하기 위해.
• 모델 파라미터나 아키텍처를 변경하지 않고도 최적화를 향상시키는 학습 시 기법을 제안하기 위해.
• 표준 GCN 벤치마크에서 더 나은 학습이 실제로 뚜렷한 성능 향상으로 이어지는지 경험적으로 검증하기 위해.
• 깊이 있는 GCNs의 성능 한계가 아키텍처적 부족함이 아니라 학습 불안정성 때문임을 입증하기 위해.

제안 방법

• 자기 순환 연결 해상도 파라미터를 학습함으로써 그래프 연산자(예: 재정규화된 라플라시안)를 조정하는 그래프 구조 재스케일링(TR)을 제안한다.
• 그래프 신호 에너지 기반으로 은닉 표현을 정규화함으로써 기울기 흐름을 안정화시키는 에너지 정규화를 도입한다.
• GCN 가중치의 최적화 역학을 향상시키기 위해 가중치 정규화를 적용한다.
• 합성 연결 없이 스킵 연결을 사용하여 기울기 흐름을 유지하고 기울기 소실을 줄인다.
• 초기 기울기 불안정성을 완화하기 위해 신중한 가중치 초기화를 시행한다.
• 이러한 기법들을 통합된 학습 절차로 조합하여 학습 안정성과 수렴성을 향상시킨다.

실험 결과

연구 질문

• RQ1 깊이 있는 GCNs의 성능 한계는 부족한 표현 능력 때문인가, 학습 곤란 때문인가?
• RQ2 역전파 중 그래프 신호 에너지 손실이 깊이 있는 GCN 레이어의 학습에 어떻게 영향을 미치는가?
• RQ3 모델 아키텍처를 변경하지 않고도 에너지 손실을 줄이고 최적화를 향상시킬 수 있는 학습 절차를 수정할 수 있는가?
• RQ4 그래프 구조 재스케일링, 정규화, 스킵 연결 중 어떤 기법이 깊이 있는 GCNs의 학습 곤란을 가장 효과적으로 완화하는가?
• RQ5 개선된 학습만으로도 아키텍처 수정 없이 표준 GCN 아키텍처의 잠재력을 완전히 해방시킬 수 있는가?

주요 결과

• 제안된 학습 기법은 동일한 파라미터 조합에도 불구하고 학습 손실을 50% 이상 감소시키고, 학습 정확도를 6배 이상 향상시켰다.
• 테스트 세트 성능은 뚜렷하게 향상되었으며, Cora에서 최적 방법을 사용한 후 정확도가 74.66%에서 83.52%로 상승했다.
• PubMed에서는 최적 방법이 79.20%의 정확도를 기록하여 기준선 대비 5.19%p의 절대적 향상을 이뤘다.
• 모든 데이터셋에서 통계적으로 유의미한 성능 향상이 있었으며, 20회 반복 실험에서 낮은 표준편차를 보이며 일관된 성과를 보였다.
• 결과는 깊이 있는 GCNs에서 성능 제한 요인이 아키텍처적 제약이 아니라 학습 불안정성임을 확인한다.
• 그래프 구조 재스케일링, 가중치 정규화, 에너지 정규화, 스킵 연결의 조합이 파라미터 추가 없이도 가장 강력한 성능 향상을 이뤘다.