[논문 리뷰] A Rigorous Framework for the Mean Field Limit of Multilayer Neural Networks

Phan-Minh Nguyen, Huy Tuan Pham|arXiv (Cornell University)|2020. 01. 30.

Stochastic Gradient Optimization Techniques인용 수 11

한 줄 요약

이 논문은 깊이 있는 다층 신경망의 평균장 한계에 대한 엄밀한 수학적 프레임워크를 수립하며, 임의의 넓이를 가진 네트워크를 모델링하기 위해 새로운 뉴런 임bedding을 도입한다. 이는 i.i.d. 초기화를 사용한 두 층 및 세 층 네트워크에 대해 비볼록 손실 하에서 최적의 해로의 전역 수렴을 증명하며, i.i.d. 가중치를 가진 깊은 네트워크에서 발생하는 탈진 문제를 해결하기 위해 새로운 상관 초기화 기법인 이중 다양성(bidirectional diversity)을 도입하여 깊이가 깊은 네트워크에서도 수렴 가능하게 한다.

ABSTRACT

We develop a mathematically rigorous framework for multilayer neural networks in the mean field regime. As the network's widths increase, the network's learning trajectory is shown to be well captured by a meaningful and dynamically nonlinear limit (the extit{mean field} limit), which is characterized by a system of ODEs. Our framework applies to a broad range of network architectures, learning dynamics and network initializations. Central to the framework is the new idea of a extit{neuronal embedding}, which comprises of a non-evolving probability space that allows to embed neural networks of arbitrary widths. Using our framework, we prove several properties of large-width multilayer neural networks. Firstly we show that independent and identically distributed initializations cause strong degeneracy effects on the network's learning trajectory when the network's depth is at least four. Secondly we obtain several global convergence guarantees for feedforward multilayer networks under a number of different setups. These include two-layer and three-layer networks with independent and identically distributed initializations, and multilayer networks of arbitrary depths with a special type of correlated initializations that is motivated by the new concept of extit{bidirectional diversity}. Unlike previous works that rely on convexity, our results admit non-convex losses and hinge on a certain universal approximation property, which is a distinctive feature of infinite-width neural networks and is shown to hold throughout the training process. Aside from being the first known results for global convergence of multilayer networks in the mean field regime, they demonstrate flexibility of our framework and incorporate several new ideas and insights that depart from the conventional convex optimization wisdom.

연구 동기 및 목표

• 너비가 무한대로 갈 때 다층 신경망의 평균장 한계에 대해 수학적으로 엄밀한 프레임워크를 개발하는 것.
• i.i.d. 초기화 하에서 깊이가 깊은 네트워크(깊이 ≥4)에서 발생하는 탈진 문제에 도전하는 것.
• 볼록 최적화 가정에 의존하지 않고 비볼록 손실 하에서 깊은 네트워크의 전역 수렴 보장을 수립하는 것.
• 이중 다양성이라는 새로운 상관 초기화 기법을 도입하고 이를 공식화하여 깊은 아키텍처에서의 수렴 가능성을 높이는 것.
• 무한 넓이 네트워크의 보편 근사 성질을 통합 및 확장하여 학습 전반에 걸쳐 유지되는 결과를 도출하는 것.

제안 방법

• 모든 넓이의 네트워크를 포함하는 변화하지 않는 확률 공간인 뉴런 임bedding을 도입하여, 네트워크의 극한 행동 분석을 가능하게 한다.
• 네트워크의 가중치 분포의 진동을 기술하는 비선형 상미분방정식(OED) 시스템을 통해 평균장 한계를 정의한다.
• 유한 넓이 네트워크와 그 평균장 한계 사이의 쌍용 절차를 활용하여 궤적 수렴을 증명한다.
• 약한 정규성 조건 하에서 평균장 ODE의 해가 존재하고 유일함을 증명한다.
• 학습 중에도 유지되는 무한 넓이 네트워크의 보편 근사 성질을 활용하여, 비볼록 손실 하에서도 수렴 가능성을 보장한다.
• 탈진을 방지하고 깊은 네트워크에서의 전역 수렴을 가능하게 하는 상관 초기화 기법인 이중 다양성을 도입한다.

실험 결과

연구 질문

• RQ1 일반적인 다층 신경망(임의의 아키텍처 및 학습 동역학 포함)에 대해 엄밀한 평균장 한계를 설정할 수 있는가?
• RQ2 왜 i.i.d. 초기화는 깊이가 깊은 네트워크(깊이 ≥4)에서 탈진 현상을 유도하며, 이를 어떻게 극복할 수 있는가?
• RQ3 볼록성에 의존하지 않고도 비볼록 손실 하에서 깊은 네트워크의 전역 수렴을 증명할 수 있는가?
• RQ4 무한 넓이 네트워크의 보편 근사 성질이 학습 동역학과 수렴에 어떤 역할을 하는가?
• RQ5 상관 초기화 기법, 예를 들어 이중 다양성은 i.i.d. 초기화가 실패하는 깊은 네트워크에서 전역 수렴을 어떻게 가능하게 하는가?

주요 결과

• i.i.d. 초기화를 사용한 두 층 및 세 층 네트워크에 대해 비볼록 손실 하에서도 볼록성에 의존하지 않고 최적 해로의 전역 수렴이 증명된다.
• i.i.d. 초기화를 사용한 네 층 이상의 네트워크에서는 강한 탈진 현상이 발생하여 국소 최적점으로의 수렴이 불가능함을 입증한다.
• 새로운 상관 초기화 기법인 이중 다양성이 도입되었으며, 이는 임의의 깊이를 가진 다층 네트워크에서 전역 수렴을 가능하게 함을 증명하였다.
• 무한 넓이 네트워크의 보편 근사 성질이 학습 전반에 걸쳐 유지됨을 입증하였으며, 이는 비볼록 손실 하에서도 수렴 가능성을 보장하는 핵심 요소이다.
• 평균장 한계가 상미분방정식(OED) 시스템으로 엄밀히 특징지어졌으며, 새로운 쌍용 절차를 통해 유한 넓이 네트워크 궤적이 이 한계로 수렴함을 입증하였다.
• 이 프레임워크는 넓은 범위의 네트워크 아키텍처, 학습 동역학, 초기화 기법에 적용 가능하며, 깊은 네트워크의 평균장 영역에서 전역 수렴 결과를 보인 첫 번째 알려진 연구이다.