[논문 리뷰] Mean Field Limit of the Learning Dynamics of Multilayer Neural Networks

Phan-Minh Nguyen|arXiv (Cornell University)|2019. 02. 07.

Neural Networks and Applications참고 문헌 40인용 수 36

한 줄 요약

이 논문은 적절한 스케일링과 SGD 하에서 다층 신경망의 학습 역학에 대한 평균장(MF) 한계를 제시하고, 이 수가 커질수록 뉴런의 수에 의존하지 않는 네트워크 동작과 이를 제한방정식의 집합으로 기술할 수 있음을 보인다.

ABSTRACT

Can multilayer neural networks -- typically constructed as highly complex structures with many nonlinearly activated neurons across layers -- behave in a non-trivial way that yet simplifies away a major part of their complexities? In this work, we uncover a phenomenon in which the behavior of these complex networks -- under suitable scalings and stochastic gradient descent dynamics -- becomes independent of the number of neurons as this number grows sufficiently large. We develop a formalism in which this many-neurons limiting behavior is captured by a set of equations, thereby exposing a previously unknown operating regime of these networks. While the current pursuit is mathematically non-rigorous, it is complemented with several experiments that validate the existence of this behavior.

연구 동기 및 목표

• 적절한 스케일링 하에서 다층 신경망에 대한 평균장(MF) 한계를 동기 부여하고 형식화한다.
• 대칭성과 자기평균화가 층별로 축약된 확률적 커널 표현으로 이어지는 과정을 보인다.
• MF 한계에서 세 층 네트워크의 순전파, 역전파, 학습 역학을 도출하고 이를 다층 네트워크로 일반화한다.
• 유한 네트워크의 SGD와 MF 한계 사이의 경험적 연결을 제공하고 실험으로 검증한다.

제안 방법

• 다층 연결성과 대칭성을 반영하기 위해 층을 가로지르는 뉴런에 대한 확률적 커널 표현을 도입한다.
• MF 한계에서 순전파를 뉴런 측정치에 대한 적분으로 정의한다. 예: hat{y}(x; rho1, rho2) = ∫ beta sigma(H2(f; x, rho1)) rho2(d f, d beta).
• 역전파 양들 Delta_beta, Delta_H2, Delta_w2, Delta_H1, Delta_w1을 커널 표현에 대한 적분으로 표현하도록 개발한다.
• 무작위 초기화와 함께 SGD 역학을 반영하는 연립 편미분방정식(PDE)으로 rho1^t와 rho2^t의 진화 방정식을 확립한다.
• 세 층 네트워크에 대한 명시적 MF 한계 역학을 제시하며, 순전파(7–16) 및 역전파/진화(17–24) 형식을 포함한다.
• 일반 다층 네트워크로의 확장과 MF-한계 거동의 실험적 검증을 논의한다.

실험 결과

연구 질문

• RQ1 적절한 스케일링과 SGD 하에서 다층 신경망의 학습 역학을 평균장(MF) 한계가 설명할 수 있는가?
• RQ2 대칭성, 한계 균일성(marginal uniformity), 자기평균화가 다층 아키텍처에 대해 계산적으로 다루기 쉬운 MF 표현을 어떻게 가능하게 하는가?
• RQ3 세 층 네트워크에서 MF 한계의 순전파, 역전파, 학습 역학은 어떠하며, 이를 더 깊은 네트워크로 어떻게 일반화되는가?
• RQ4 대형 다층 네트워크가 MF 한계 아래에서 정확한 뉴런 수와 무관한 거동을 나타내는가, 실험적 관찰과 일치하는가?
• RQ5 이론적 MF 한계 예측이 실제 네트워크에서의 실험 결과와 얼마나 일치하는가?

주요 결과

• 적절한 스케일링과 SGD 하에서 뉴런 수가 증가함에 따라 네트워크 거동은 비자명한 MF 한계로 수렴하고, 뉴런 수에 의존하지 않게 된다.
• 다층에 걸친 뉴런을 기술하기에는 확률적 커널 표현이면 충분하며 MF 한계에 필요한 것은 조건부 기댓값뿐이다.
• MF 한계는 순전파와 역전파에 대한 명시적 형식과 층별 측정치 rho1^t 및 rho2^t에 대한 결합된 PDE 기반 진화 방정식을 제공한다.
• 세 층 네트워크의 경우 MF 형식은 유한 네트워크를 시계열로 진화하는 시스템과 연결하여 극한에서의 SGD 역학을 예측한다.
• 실험은 MF 한계의 존재를 검증하고, 큰 네트워크의 성능 곡선이 서로 다른 뉴런 수에서 일치함을 보여준다.