[논문 리뷰] Neural networks as Interacting Particle Systems: Asymptotic convexity of the Loss Landscape and Universal Scaling of the Approximation Error

Grant M. Rotskoff, Eric Vanden‐Eijnden|arXiv (Cornell University)|2018. 01. 01.

Machine Learning in Materials Science참고 문헌 16인용 수 103

한 줄 요약

이 논문은 신경망에서의 확률적 경사하강법(SGD)을 상호작용하는 입자 시스템으로 재해석하며, 넓은 네트워크의 극한에서 손실 곡면이 점점 볼록해지고, 근사 오차가 입력 차원에 관계없이 항상 $ o(n^{-1}) $로 스케일링됨을 증명한다. 분석을 통해 매개변수의 경험적 분포에 대한 대수의 법칙과 중심극한정리가 확립되어, 훈련 동역학에 대한 보편적 스케일링 법칙과 노이즈 정량화를 제공한다.

ABSTRACT

Neural networks, a central tool in machine learning, have demonstrated remarkable, high fidelity performance on image recognition and classification tasks. These successes evince an ability to accurately represent high dimensional functions, potentially of great use in computational and applied mathematics. That said, there are few rigorous results about the representation error and trainability of neural networks, as well as how they scale with the network size. Here we characterize both the error and scaling by reinterpreting the standard optimization algorithm used in machine learning applications, stochastic gradient descent, as the evolution of a particle system with interactions governed by a potential related to the objective or loss function used to train the network. We show that, when the number $n$ of parameters is large, the empirical distribution of the particles descends on a convex landscape towards a minimizer at a rate independent of $n$. We establish a Law of Large Numbers and a Central Limit Theorem for the empirical distribution, which together show that the approximation error of the network universally scales as $o(n^{-1})$. Remarkably, these properties do not depend on the dimensionality of the domain of the function that we seek to represent. Our analysis also quantifies the scale and nature of the noise introduced by stochastic gradient descent and provides guidelines for the step size and batch size to use when training a neural network. We illustrate our findings on examples in which we train neural network to learn the energy function of the continuous 3-spin model on the sphere. The approximation error scales as our analysis predicts in as high a dimension as $d=25$.

연구 동기 및 목표

• 넓은 신경망에서 근사 오차의 스케일링을 이해하고, 네트워크 크기에 따른 의존성을 파악하기 위해.
• SGD의 입자 시스템 해석을 통해 신경망의 학습 가능성과 최적화 동역학을 분석하기 위해.
• 입력 차원에 관계없이 독립적인 보편적 스케일링 법칙을 근사 오차에 대해 수립하기 위해.
• SGD에 의해 유도되는 노이즈를 정량화하고 최적의 단계 및 배치 크기 지침을 도출하기 위해.

제안 방법

• 각 매개변수에 해당하는 $ n $개의 상호작용 입자로 이루어진 시스템의 진동으로서 확률적 경사하강법을 재해석한다.
• 손실 함수를 입자 상호작용을 규명하는 잠재력으로 모델링하여 경험적 분포 역학을 통한 분석을 가능하게 한다.
• 큰-$ n$ 점근적 분석을 적용하여 매개변수의 경험적 분포에 대한 대수의 법칙과 중심극한정리를 도출한다.
• 손실 곡면이 큰-$ n$ 근한에서 점점 볼록해지며, $ n $에 관계없이 수렴 속도가 보장됨을 증명한다.
• 입자 시스템의 극한 행동을 이용하여 보편적 근사 오차 스케일링 $ o(n^{-1}) $을 유도한다.
• 평균장 근사에서의 변동성을 분석하여 SGD의 노이즈를 정량화하고, 실용적인 훈련 지침을 도출한다.

실험 결과

연구 질문

• RQ1 넓은 $ n $ 근한에서 신경망의 근사 오차는 매개변수 수 $ n $에 따라 어떻게 스케일링되는가?
• RQ2 매개변수 수가 증가함에 따라 손실 곡면이 점점 볼록해지는가?
• RQ3 SGD의 동역학은 보편적인 통계적 성질을 지닌 상호작용 입자 시스템으로 엄밀히 모델링될 수 있는가?
• RQ4 SGD의 노이즈는 배치 크기와 단계 크기에 따라 어떻게 스케일링되며, 훈련 안정성에 어떤 영향을 미치는가?
• RQ5 입력 차원의 크기에 관계없이 보편적 오차 스케일링 $ o(n^{-1}) $이 유지되는가?

주요 결과

• 넓은 $ n $ 근한에서 신경망의 근사 오차는 입력 차원에 관계없이 항상 $ o(n^{-1}) $로 스케일링된다.
• 손실 곡면은 $ n \to \infty $로 갈수록 점점 볼록해지며, 이는 $ n $에 관계없이 최소화자로의 수렴 속도가 보장됨을 의미한다.
• 매개변수의 경험적 분포에 대해 대수의 법칙과 중심극한정리가 성립하여, 넓은 네트워크에서 평균장 근사의 타당성을 뒷받침한다.
• SGD에 의해 유도되는 노이즈는 정량화되었으며, 단계 크기와 배치 크기에 적절하게 스케일링됨이 입증되어 훈련 최적화가 가능해진다.
• 25차원 문제에서의 수치적 검증을 통해 이론적 오차 스케일링이 $ o(n^{-1}) $ 행동을 정확히 따르는 것으로 확인되었다.
• 분석을 통해 보편적 근사 오차 스케일링이 함수 정의역의 차원에 의존하지 않음을 밝혀내었으며, 이는 고차원 함수 근사에 있어 핵심적인 통찰이다.