[논문 리뷰] Optimization of Graph Neural Networks with Natural Gradient Descent

Mohammad Izadi, Yihao Fang외 2명|arXiv (Cornell University)|2020. 08. 21.

Advanced Graph Neural Networks참고 문헌 24인용 수 10

한 줄 요약

이 논문은 인용 네트워크에서 반감독 학습을 위한 그래프 신경망(GNN) 훈련의 효율성과 성능을 향상시키기 위해 자연 경사 하강법(NGD)과 크로네커 분해 근사 곡률(KFAC)을 사용하는 새로운 최적화 프레임워크를 제안한다. 비라벨 데이터를 피셔 정보행렬 추정에 통합함으로써, Adam과 SGD보다 빠른 수렴 속도와 뛰어난 테스트 정확도를 달성한다.

ABSTRACT

In this work, we propose to employ information-geometric tools to optimize a graph neural network architecture such as the graph convolutional networks. More specifically, we develop optimization algorithms for the graph-based semi-supervised learning by employing the natural gradient information in the optimization process. This allows us to efficiently exploit the geometry of the underlying statistical model or parameter space for optimization and inference. To the best of our knowledge, this is the first work that has utilized the natural gradient for the optimization of graph neural networks that can be extended to other semi-supervised problems. Efficient computations algorithms are developed and extensive numerical studies are conducted to demonstrate the superior performance of our algorithms over existing algorithms such as ADAM and SGD.

연구 동기 및 목표

• 표준 SGD와 Adam이 그래프 신경망의 반감독 학습을 위한 훈련에서 느린 수렴과 하이퍼파라미터 민감도 문제를 해결하기 위해.
• GNN의 매개변수 공간의 내재 기하학을 활용하기 위해 자연 경사 하강법을 적용하여 정보 기하 원리를 활용하기 위해.
• 비라벨 데이터를 포함한 효율적이고 확장 가능한 피셔 정보행렬 근사 방법을 개발하기 위해, KFAC를 사용하여 이를 실현하기 위해.
• 기본 최적화기인 Adam과 SGD와의 성능, 하이퍼파라미터에 대한 민감도, 훈련 효율성에 대해 실증적으로 평가하기 위해.
• 깊은 아키텍처로의 확장과 더 빠른 곡률 근사 방법을 고려할 수 있는 GNN 최적화의 전치 최적화 기반을 마련하기 위해.

제안 방법

• 노드 분류 문제를 그래프 구조화된 데이터에 조건부인 최소 제곱법 회귀와 교차 엔트로피 손실을 사용한 확률 모델로 설정한다.
• 매개변수 공간 기하학을 고려하기 위해 피셔 정보행렬의 역행렬로 기울기를 전치하는 자연 경사 하강법(NGD)을 사용하여 GNN 매개변수를 최적화한다.
• KFAC(Kronecker-Factored Approximate Curvature)를 사용하여 피셔 정보행렬을 근사함으로써 대규모 GNN에서 효율적인 계산과 역행렬 계산을 가능하게 한다.
• 계산 비용과 최적화 안정성의 균형을 맞추기 위해 피셔 정보행렬을 50 에포크마다 갱신하며, 비라벨 샘플을 사용해 피셔 행렬을 추정한다.
• Adam과 SGD 최적화기와 통합하여 하이브리드 방법인 Adam-KFAC와 SGD-KFAC를 개발하여 최적화 전략에 따른 성능을 평가한다.
• 접근 가능하고 체계적인 반감독 학습을 가능하게 하기 위해 인접 행렬의 확률 분포를 정의하고 조건부 타겟 분포를 모델링하는 확률 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 KFAC 전치를 갖는 자연 경사 하강법이 반감독 학습을 위한 그래프 신경망의 수렴 속도와 테스트 정확도를 향상시킬 수 있는가?
• RQ2 피셔 정보 추정에 비라벨 샘플을 포함시키는 것이 최적화 성능과 일반화에 어떤 영향을 미치는가?
• RQ3 학습률, 정규화, 피셔 행렬 갱신 빈도와 같은 하이퍼파라미터에 대해 제안된 방법이 얼마나 민감한가?
• RQ4 SGD에 KFAC 전치를 적용한 경우, 수렴 속도와 최종 모델 정확도 측면에서 Adam 기반 최적화기보다 뛰어나게 성능을 내는가?
• RQ5 기존의 적응형 최적화기인 Adam과 자연 경사 방법을 효과적으로 융합할 수 있는가?

주요 결과

• 제안된 SGD-KFAC 방법은 테스트된 모든 최적화기 중에서 가장 빠른 수렴 속도를 기록했으며, 모든 인용 데이터셋에서 순수 SGD와 Adam을 모두 압도했다.
• 모든 세 개의 데이터셋 분할에서 SGD-KFAC는 Adam과 Adam-KFAC보다 더 높은 테스트 정확도를 달성하여 뛰어난 일반화 성능을 입증했다.
• Adam-KFAC는 다양한 데이터셋에서 유사한 성능를 보였지만, SGD-KFAC는 데이터셋에 따라 과적합 행동을 보이며 더 높은 데이터 분포 민감도를 나타냈다.
• 피셔 행렬을 50 에포크마다 갱신하는 것이 계산 비용과 성능 사이의 균형을 잘 맞추는 데 효과적이었으며, 더 자주 갱신하는 것과 비교해 검증 손실에 유의미한 감소가 없었다.
• 학습률과 정규화 하이퍼파라미터에 대해 뛰어난 내성적 민감도를 보였으며, 작은 ε 값은 더 빠른 수렴을, 큰 γ 값은 수렴 안정성을 향상시켰다.
• 시간 복잡도 분석 결과, 특히 고차원 특징 입력에서 표준 SGD 대비 각 에포크의 훈련 시간을 크게 감소시켰다.