[논문 리뷰] Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks

Kenta Oono, Taiji Suzuki|arXiv (Cornell University)|2020. 06. 15.

Advanced Graph Neural Networks참고 문헌 83인용 수 5

한 줄 요약

이 논문은 기울기 부스팅을 사용한 추론적 그래프 신경망(GNN)에 대한 이론적 프레임워크를 제안하며, 약한 학습 조건 하에서 수렴성과 일반화 한계를 증명한다. 다중 척도 GNN이 부스팅을 통해 훈련될 경우 깊이에 따라 테스트 오차가 단조롭게 감소함을 보이며, 이는 과도한 스무딩에 대한 저항력에 대한 이론적 설명을 제공한다.

ABSTRACT

It is known that the current graph neural networks (GNNs) are difficult to make themselves deep due to the problem known as over-smoothing. Multi-scale GNNs are a promising approach for mitigating the over-smoothing problem. However, there is little explanation of why it works empirically from the viewpoint of learning theory. In this study, we derive the optimization and generalization guarantees of transductive learning algorithms that include multi-scale GNNs. Using the boosting theory, we prove the convergence of the training error under weak learning-type conditions. By combining it with generalization gap bounds in terms of transductive Rademacher complexity, we show that a test error bound of a specific type of multi-scale GNNs that decreases corresponding to the number of node aggregations under some conditions. Our results offer theoretical explanations for the effectiveness of the multi-scale structure against the over-smoothing problem. We apply boosting algorithms to the training of multi-scale GNNs for real-world node prediction tasks. We confirm that its performance is comparable to existing GNNs, and the practical behaviors are consistent with theoretical observations. Code is available at https://github.com/delta2323/GB-GNN.

연구 동기 및 목표

• 다중 척도 GNN이 과도한 스무딩을 완화하는 데 있어 경험적 성공의 배경에 대한 이론적 이해 부족을 해결하기 위해.
• 일반적으로 기존 이론에서 간과되는, 특히 GNN을 포함한 추론적 학습 모델에 대한 최적화 및 일반화 보장을 제공하기 위해.
• 부스팅 이론을 활용하여 인도티브 학습 이론과 추론적 설정 사이의 격차를 메우기 위해, 그래프 구조 데이터에 적용한다.
• 실제 저널 네트워크에서 GB-GNN이라는 부스팅 기반의 GNN 훈련 방법을 사용하여 이론적 결과를 실증적으로 검증하기 위해.

제안 방법

• 부스팅 이론을 활용해 추론적 GNN을 약한 학습자 앙상블로 공식화하며, 모델을 집계 함수 𝒢와 변환 함수 𝒷로 분해한다.
• 약한 학습 조건(w.l.c.) 하에서 훈련 오차의 수렴성을 증명함으로써, 상호의존적인 노드 예측이 있는 추론적 설정으로 부스팅 이론을 확장한다.
• 추론적 라데마처 복잡도를 사용해 일반화 갭 한계를 유도하며, 특정 클래스의 다중 척도 GNN에서 w.l.c. 하에 깊이에 따라 테스트 오차가 감소함을 보여준다.
• 약한 학습자를 통한 노드 표현의 반복적 개선을 활용해 다중 척도 GNN에 기울기 부스팅을 적용하는 GB-GNN을 제안한다.
• GNN 아키텍처에서 다양한 인도티브 바이어스를 탐색하기 위해 다수의 집계 메커니즘(Adj, KTA, II, SAMME.R)을 활용한다.
• 특히 표준 GNN이 GPU 메모리 제약으로 실패하는 깊은 아키텍처에서 성능을 향상시키기 위해 피니팅(fine-tuning)을 적용한다.

실험 결과

연구 질문

• RQ1 약한 학습 조건 하에서 상호의존적인 노드 예측이 있는 추론적 GNN에 대해 부스팅 이론을 확장해 최적화 보장을 제공할 수 있는가?
• RQ2 기울기 부스팅을 통해 훈련된 다중 척도 GNN 아키텍처는 깊이가 증가함에 따라 일반화 성능이 향상되는가?
• RQ3 다중 척도 GNN의 테스트 오차가 집계 레이어 수에 따라 단조롭게 감소하는 조건은 무엇인가?
• RQ4 일반화 및 최적화에 대한 이론적 예측이 실제 그래프 벤치마크에서의 실증 성능과 얼마나 일치하는가?
• RQ5 GB-GNN은 이론적 일관성을 유지하면서 최신 기술 수준의 GNN과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 이론적 분석 결과, 약한 학습 조건 하에서 다중 척도 GNN이 전역 최적해로 수렴함을 보이며, 이는 추론적 GNN에 대한 최적화 보장을 제공한다.
• 특정 클래스의 다중 척도 GNN은 약한 학습 조건 하에서 깊이에 따라 테스트 오차 한계가 단조롭게 감소함을 입증하며, 과도한 스무딩 문제를 완화한다.
• GB-GNN 모델은 저널 네트워크에서 최고 성능을 기록하며, GB-GNN-SAMME.R + 피니팅을 통해 Cora에서 82.1%의 정확도를 달성해 표준 GNN을 초월한다.
• 실증 결과는 훈련 동역학과 성능 추세가 이론적 예측과 일치함을 확인하며, 특히 깊이에 따라 오차 감소 경향이 뚜렷하다.
• 피니팅은 깊은 모델에서 성능을 크게 향상시키며, 표준 GNN이 GPU 메모리 제약으로 실패하는 상황에서도 성공적인 훈련을 가능하게 한다.
• 약한 학습자와 기울기 사이의 유사도(cosθ)가 반복 과정 전반에 걸쳐 일관되게 높게 유지되며, GB-GNN의 안정적이고 효과적인 학습 동역학을 시사한다.