[논문 리뷰] Mean Field Analysis of Neural Networks

Justin Sirignano, Konstantinos Spiliopoulos|arXiv (Cornell University)|2018. 05. 02.

Model Reduction and Neural Networks참고 문헌 14인용 수 32

한 줄 요약

이 논문은 네트워크 크기와 훈련 반복 횟수가 매우 클 경우에 대한 엄밀한 평균장 분석을 제공하며, 매개변수의 경험적 분포가 비선형 편미분방정식의 해로 수렴함을 증명한다. 주요 결과 중 하나는 훈련된 매개변수들이 渐진적으로 상호 독립적이 되며, 이는 혼돈의 전파 성질을 나타낸다.

ABSTRACT

Machine learning has revolutionized fields such as image, text, and speech recognition. There's also growing interest in applying machine and deep learning ideas in engineering, robotics, biotechnology, and finance. Despite their immense success in practice, there is limited mathematical understanding of neural networks. We mathematically study neural networks in the asymptotic regime of simultaneously (A) large network sizes and (B) large numbers of stochastic gradient descent training iterations. We rigorously prove that the empirical distribution of the neural network parameters converges to the solution of a nonlinear partial differential equation. This result can be considered a law of large numbers for neural networks. In addition, a consequence of our analysis is that the trained parameters of the neural network asymptotically become independent, a property which is commonly called propagation of chaos.

연구 동기 및 목표

• 네트워크 크기와 훈련 반복 횟수가 매우 클 경우의 신경망 거동을 수학적으로 이해하는 것.
• 대규모 신경망에서의 확률적 경사하강법의 역학에 엄밀한 이론적 기초를 마련하는 것.
• 네트워크 크기와 훈련 단계가 증가함에 따라 매개변수 경험적 분포의 극한 행동을 분석하는 것.
• 훈련된 네트워크의 매개변수가 渐진적으로 상호 독립적이 되며, 이는 혼돈의 전파 성질로 알려진 성질임을 증명하는 것.

제안 방법

• 넓은 네트워크와 많은 훈련 반복 횟수의 동시 극한에서 신경망을 분석한다.
• 비선형 Fokker-Planck 유형의 편미분방정식을 사용하여 매개변수 경험적 분포의 진화를 모델링한다.
• 확률론과 통계역학의 도구를 적용하여 경험 측도가 결정론적 해로 수렴하는 것을 연구한다.
• 큰 네트워크 극한에서 매개변수 간의 상호작용을 평균장 근사로 기술한다.
• 활성화 함수와 데이터 분포에 대한 미약한 정규성 조건 하에서 경험 분포가 비선형 편미분방정식의 해로 수렴함을 확립한다.

실험 결과

연구 질문

• RQ1 네트워크 크기와 훈련 횟수가 매우 클 경우에 매개변수 경험적 분포는 어떻게 행동하는가?
• RQ2 대규모 신경망에서의 확률적 경사하강법의 역학은 결정론적 편미분방정식으로 기술될 수 있는가?
• RQ3 어떤 조건에서 매개변수 분포가 비선형 편미분방정식의 해로 수렴하는가?
• RQ4 넓고 훈련된 신경망에서 매개변수의 점차적인 독립성—혼돈의 전파—는 어떻게 발생하는가?

주요 결과

• 네트워크 크기와 훈련 시간이 매우 클 경우에 매개변수 경험적 분포는 비선형 편미분방정식의 해로 수렴한다.
• 활성화 함수와 데이터 분포에 대한 미약한 정규성 가정 하에서 수렴이 확립된다.
• 한계 편미분방정식은 확률적 경사하강법 하에서 매개변수 분포의 결정론적 진화를 기술한다.
• 훈련된 매개변수들은 점차적으로 상호 독립적이 되며, 이는 평균장 극한에서 혼돈의 전파 성질이 확인됨을 시사한다.