[논문 리뷰] Fast Convergence of Natural Gradient Descent for Over-Parameterized Neural Networks

Guodong Zhang, James Martens외 1명|arXiv (Cornell University)|2019. 05. 27.

Stochastic Gradient Optimization Techniques인용 수 30

한 줄 요약

이 논문은 제곱 오차 손실을 가진 비선형 신경망에 대한 자연 경사 하강법(NGD)의 이론적 수렴 분석을 처음으로 수립한다. 전체 행 랭크와 임의의 작은 변화에 대한 자코비안 행렬의 안정성이라는 두 조건 하에 전역 수렴을 증명하며, 이 조건들이 과다 매개변수화된 두층 ReLU 네트워크에서 성립함을 보이며, K-FAC(근사 NGD 방법)로의 확장도 가능하다.

ABSTRACT

Natural gradient descent has proven very effective at mitigating the catastrophic effects of pathological curvature in the objective function, but little is known theoretically about its convergence properties, especially for \emph{non-linear} networks. In this work, we analyze for the first time the speed of convergence to global optimum for natural gradient descent on non-linear neural networks with the squared error loss. We identify two conditions which guarantee the global convergence: (1) the Jacobian matrix (of network's output for all training cases w.r.t the parameters) is full row rank and (2) the Jacobian matrix is stable for small perturbations around the initialization. For two-layer ReLU neural networks (i.e. with one hidden layer), we prove that these two conditions do hold throughout the training under the assumptions that the inputs do not degenerate and the network is over-parameterized. We further extend our analysis to more general loss function with similar convergence property. Lastly, we show that K-FAC, an approximate natural gradient descent method, also converges to global minima under the same assumptions.

연구 동기 및 목표

• 비선형 신경망에서 자연 경사 하강법(NGD)의 수렴 속도를 이론적으로 분석하는 것. 이는 NGD의 경험적 성공에도 불구하고 여전히 잘 이해되지 않은 분야이다.
• 제곱 오차 손실을 가진 비선형 네트워크에서 NGD가 전역 최적해로 전역 수렴하는 데 필요한 충분조건을 규명하는 것.
• 과다 매개변수화된 두층 ReLU 네트워크로의 분석 확장을 통해 입력 데이터 및 네트워크 폭에 대한 약한 가정 하에 조건들이 성립함을 검증하는 것.
• K-FAC(근사 NGD 방법)가 동일한 조건 하에 전역 수렴을 이룬다는지 조사하는 것.
• 제곱 오차 이외의 더 넓은 손실 함수 클래스로의 수렴 결과 일반화

제안 방법

• 손실 곡면의 곡률을 보완하기 위해 피셔 정보 메트릭을 기반으로 매개변수를 조정하는 자연 경사 업데이트 규칙을 사용한 NGD 수렴 이론적 분석.
• 두 가지 핵심 조건 식별: (1) 출력에 대한 매개변수에 대한 자코비안 행렬이 전체 행 랭크여야 하며, (2) 초기화 주변의 작은 변화에 대해 자코비안이 안정해야 한다.
• 두 층 ReLU 네트워크에서 입력이 붕괴하지 않으며 네트워크가 과다 매개변수화되어 있을 경우, 훈련 전반에 걸쳐 이 조건들이 만족됨을 증명.
• 행렬 섭동 이론과 ReLU 활성화의 성질을 활용해 초기화 및 가중치 갱신 하에서 자코비안 안정성을 확립.
• 유사한 가정 하에 헤시안 및 피셔 정보의 구조를 분석함으로써 일반 손실 함수로의 수렴 결과 확장.
• 동일한 조건 하에 K-FAC 분석에 적응하여, 그 곡률 근사가 수렴 보장을 유지함을 보임.

실험 결과

연구 질문

• RQ1 제곱 오차 손실을 가진 비선형 신경망에서 자연 경사 하강법이 전역 최소값으로 전역 수렴하기 위한 조건은 무엇인가?
• RQ2 과다 매개변수화된 두층 ReLU 네트워크에서 자코비안 전체 행 랭크 및 안정성 조건이 훈련 전반에 걸쳐 유지되는가?
• RQ3 NGD의 수렴 보장 조건을 제곱 오차 이외의 일반 손실 함수로 확장할 수 있는가?
• RQ4 근사 NGD 방법인 K-FAC도 동일한 이론적 조건 하에 전역 최소값으로 수렴하는가?
• RQ5 과다 매개변수화가 훈련 중 자코비안의 안정성과 랭크에 어떤 영향을 미치는가?

주요 결과

• 자코비안 행렬이 전체 행 랭크이면서 작은 변화에 대해 안정적인 경우, 비선형 신경망에서 자연 경사 하강법은 전역 최소값으로 전역 수렴한다.
• 두 층 ReLU 네트워크에서 입력 데이터에 대한 약한 가정과 과다 매개변수화 조건 하에, 훈련 전반에 걸쳐 전체 행 랭크 및 안정성 조건이 만족됨을 확인.
• 수렴 속도는 빠르며, 제시된 조건 하에 전역 수렴이 확립되었지만, 제공된 텍스트에서는 정량적 수치로 수렴 속도가 명시되지 않음.
• 이론적 프레임워크는 일반 손실 함수로 확장 가능하여, NGD의 수렴 성질이 제곱 오차 손실을 초월해 강건함을 시사.
• 근사 자연 경사 방법인 K-FAC도 동일한 조건 하에 전역 최소값으로 수렴함을 보이며, 실용적 효용성에 대한 이론적 근거를 제공.
• 결과적으로, 이 논문은 과다 매개변수화된 비선형 네트워크에서 NGD 및 K-FAC의 경험적 성공에 대한 첫 이론적 근거를 제공한다.