[논문 리뷰] Trainability and Accuracy of Neural Networks: An Interacting Particle System Approach

Grant M. Rotskoff, Eric Vanden‐Eijnden|arXiv (Cornell University)|2018. 05. 02.

Markov Chains and Monte Carlo Methods참고 문헌 36인용 수 96

한 줄 요약

이 논문은 신경망 학습을 상호 작용 입자 시스템으로 재구성하고, 큰 네트워크 폭에서 매개변수의 경험적 분포가 전역 최솟값으로 수렴하며 오차가 O(n^{-1})로 스케일링된다는 것을 증명하며, SGD 노이즈와 학습 가이드라인도 분석한다.

ABSTRACT

Neural networks, a central tool in machine learning, have demonstrated remarkable, high fidelity performance on image recognition and classification tasks. These successes evince an ability to accurately represent high dimensional functions, but rigorous results about the approximation error of neural networks after training are few. Here we establish conditions for global convergence of the standard optimization algorithm used in machine learning applications, stochastic gradient descent (SGD), and quantify the scaling of its error with the size of the network. This is done by reinterpreting SGD as the evolution of a particle system with interactions governed by a potential related to the objective or "loss" function used to train the network. We show that, when the number $n$ of units is large, the empirical distribution of the particles descends on a convex landscape towards the global minimum at a rate independent of $n$, with a resulting approximation error that universally scales as $O(n^{-1})$. These properties are established in the form of a Law of Large Numbers and a Central Limit Theorem for the empirical distribution. Our analysis also quantifies the scale and nature of the noise introduced by SGD and provides guidelines for the step size and batch size to use when training a neural network. We illustrate our findings on examples in which we train neural networks to learn the energy function of the continuous 3-spin model on the sphere. The approximation error scales as our analysis predicts in as high a dimension as $d=25$.

연구 동기 및 목표

• 신경망 근사 오차에 대한 엄밀한 이해의 필요성을 동기화한다.
• 넓은 신경망에서 GD/SGD 다이나믹스를 분석하기 위한 상호 작용 입자 시스템 프레임워크를 도입한다.
• 네트워크 매개변수의 경험적 분포가 전역 최솟값으로 수렴함을 보이고 근사 오차의 스케일링을 정량화한다.
• 경험 분포에 대한 LLN 및 CLT 결과를 도출하여 유한 폭에서의 변동을 특징짓는다.
• SGD의 노이즈 구조를 바탕으로 학습률 및 배치 크기에 대한 실용적 가이드라인을 제시한다.

제안 방법

• 손실 유도 상호 작용 포텐셜을 가지는 입자로 네트워크 매개변수를 표현한다.
• 매개변수의 경험적 분포에 대한 진화 방정식을 도출하고 그것이 2-웰스터슈타인 미터법에서 볼록한 지형에서 감소한다는 것을 보인다.
• 대수의 법칙을 확립한다: f_t^{(n)}가 비선형 Liouville/McKean–Vlasov 유형 방정식을 푸는 f_t로 수렴한다.
• f_t^{(n)}의 f_t 주변 변동에 대해 중앙극한정리를 증명하고, 변동이 O(n^{-1/2})의 차이를 가지며 O(n^{-1})로 회복되는 것을 논의한다.
• 확률적 경사 하강법과 온라인 SGD로 분석을 확장하고, 배치 크기 P가 네트워크 폭 n에 대해 가지는 스케일링 관계를 도출한다.
• 가우시안 커널과 단일 은닉층 네트워크를 사용한 고차원 구면 3-스핀 모델에서 결과를 예시한다.

실험 결과

연구 질문

• RQ1 네트워크 단위 수 n이 큰 경우 SGD/GD의 수렴 behavior은 어떠하며, 학습 오차는 n에 대해 어떻게 스케일링되는가?
• RQ2 매개변수의 경험적 분포를 통해 학습 다이나믹스를 이해하고 LLN과 CLT 결과를 이끌어낼 수 있는가?
• RQ3 경사 하강과 SGD가 노이즈 구조에서 어떻게 다른가, 그리고 학습률과 배치 크기에 대한 실용적 시사점은 무엇인가?
• RQ4 극한 분포적 접근이 보편 근사 특성을 제공하고 고차원에서의 네트워크 설계에 지침을 주는가?
• RQ5 구체적 모델(예: 구면에서의 3-스핀)에서의 학습 다이나믹스의 정량적 행동은 무엇이며 이들이 이론적 예측과 일치하는가?

주요 결과

• 네트워크 매개변수의 경험적 분포가 네트워크 폭 n과 무관한 시간 척도에서 전역 최솟값으로 수렴한다.
• 근사 오차는 n → ∞일 때 d 차원에서 보편적으로 O(n^{-1})로 스케일한다.
• LLN 한계 근방의 변동은 finite n에 대해 O(n^{-1/2})의 차동이며 장시간에 걸쳐 O(n^{-1})로 회복될 수 있다.
• 온라인 SGD에서 배치 크기 P = O(n^{2α}) (α>0)인 경우 LLN과 일부 CLT 결과가 여전히 성립하되, α∈(0,1)일 때 정확도는 O(n^{-α})로 저하되지만 α≥1일 때 원래 속도가 회복된다.
• 이 프레임워크는 SGD의 최적 오차를 얻기 위한 학습률 및 배치 크기에 대한 실용적 가이드라인을 제공한다.
• 가우시안 커널과 단일 은닉층 네트워크를 이용한 3-spin 모델의 차원 d=25까지의 수치 예시에서 예측된 오차 스케일링이 확인된다.