[논문 리뷰] Fast Convergence of Natural Gradient Descent for Overparameterized Neural Networks

Guodong Zhang, James Martens외 1명|arXiv (Cornell University)|2019. 05. 27.

Stochastic Gradient Optimization Techniques참고 문헌 59인용 수 41

한 줄 요약

본 논문은 비선형 과매개변수화된 신경망에 대한 자연 경사 하강법(NGD)의 전역 수렴 및 선형 속도를 Jacobian의 두 가지 조건 하에 입증하고, K-FAC 및 일반 손실에 대한 결과를 확장하며 여전히 우수한 일반화 성능을 유지한다.

ABSTRACT

Natural gradient descent has proven effective at mitigating the effects of pathological curvature in neural network optimization, but little is known theoretically about its convergence properties, especially for \emph{nonlinear} networks. In this work, we analyze for the first time the speed of convergence of natural gradient descent on nonlinear neural networks with squared-error loss. We identify two conditions which guarantee efficient convergence from random initializations: (1) the Jacobian matrix (of network's output for all training cases with respect to the parameters) has full row rank, and (2) the Jacobian matrix is stable for small perturbations around the initialization. For two-layer ReLU neural networks, we prove that these two conditions do in fact hold throughout the training, under the assumptions of nondegenerate inputs and overparameterization. We further extend our analysis to more general loss functions. Lastly, we show that K-FAC, an approximate natural gradient descent method, also converges to global minima under the same assumptions, and we give a bound on the rate of this convergence.

연구 동기 및 목표

• 신경망 최적화에서 병적 곡률(pathological curvature)을 해결하기 위해 자연 그래디언트 하강법의 사용을 모티브로 삼는다.
• 무작위 초기화로부터의 효율적 수렴을 보장하는 네트워크 Jacobian에 대한 간단하고 일반적인 조건을 식별한다.
• 과매개변수화와 온건한 입력 가정하에 이층 ReLU 네트워크의 수렴 결과를 보인다.
• 일반 손실 함수와 K-FAC와 같은 근사 NGD 방법에 대한 분석을 확장한다.
• NGD가 일반화 손실을 희생하지 않으면서 더 빠른 수렴을 달성할 수 있음을 보여준다.

제안 방법

• F가 특이일 때 Fisher/ Gauss-Newton 행렬과 그 일반화 역수를 사용하여 NGD 업데이트를 정의한다.
• Jacobian에 대한 두 가지 조건을 도입한다: (i) 초기화 시 전체 행 랭크(full row rank), (ii) 작은 매개변수 섭동하에서 Jacobian의 안정성.
• 이 조건하에서 NGD의 선형 수렴과 스텝 사이즈 경계를 증명한다.
• 무작위 초기화와 정규화된 입력을 가진 특정 과매개변수화 이층 ReLU 네트워크에 이 추상 분석을 적용한다.
• NGD가 GD에 비해 수렴 속도를 O(lambda_min(G∞)/n)만큼 개선하고, 비슷한 가정하에서 K-FAC도 선형 수렴을 달성함을 보인다.

실험 결과

연구 질문

• RQ1 비선형이며 과매개변수화된 신경망에서 자연 경사 하강법이 전역 최소값으로 수렴하는 조건은 무엇인가?
• RQ2 이층 ReLU 네트워크에서 NGD와 경사 하강법의 수렴 속도 및 학습률 허용범위에 대한 비교는 어떠한가?
• RQ3 제곱 오차를 넘는 일반 손실 함수에 대해 NGD와 K-FAC가 비선형 네트워크에 대해 입증 가능한 전역 수렴을 제공할 수 있는가?
• RQ4 표준 경사 하강법에 비해 NGD의 일반화에 대한 함의는 무엇인가?

주요 결과

• Jacobian이 초기화 시에 전체 행 랭크를 가지며 인근에서도 안정적인 경우 NGD는 전역 최솟값으로 선형 수렴을 달성한다.
• 과매개변수화된 이층 ReLU 네트워크의 경우 NGD는 상수 스텝 크기로 O(1)까지 수렴하며 무한 너비 극한에서 O(1) 반복에 수렴할 수 있다.
• NGD가 GD에 비해 수렴 속도에서 O(lambda_min(G∞)/n) 향상을 제공한다.
• 같은 가정과 충분한 과매개변수화 하에서 K-FAC 역시 전역 최소값으로 선형 수렴하며 그 속도는 데이터 그램 행렬과 연관된다.
• 2층 ReLU 설정에서 NGD의 일반화 경계는 GD에 대해 증명된 것과 일치하여 더 빠른 수렴에도 일반화 손실이 없음을 나타낸다.