[논문 리뷰] Mean-Field Langevin Dynamics and Energy Landscape of Neural Networks

Kaitong Hu, Zhenjie Ren외 2명|arXiv (Cornell University)|2019. 05. 19.

Markov Chains and Monte Carlo Methods참고 문헌 58인용 수 30

한 줄 요약

이 논문은 확률 Measures의 2-Wasserstein 공간에서 연속 시간 경로로써의 평균장 랑주비안 역학(Mean-Field Langevin Dynamics, MFLD)을 제안하며, 과정의 법칙이 에너지 기능을 최소화하는 유일한 정적 분포로 지수적으로 수렴함을 보여준다. 수렴성은 대칭적이거나 컨volution형 상호작용 포텐셜을 요구하지 않으며, 라살레의 불변성 원리와 HWI 부등식의 새로운 응용을 통해 증명되며, 유한차원 및 무한차원 최적화 문제 사이의 오차 bound로 O(1/N)을 확립한다.

ABSTRACT

Our work is motivated by a desire to study the theoretical underpinning for the convergence of stochastic gradient type algorithms widely used for non-convex learning tasks such as training of neural networks. The key insight, already observed in the works of Mei, Montanari and Nguyen (2018), Chizat and Bach (2018) as well as Rotskoff and Vanden-Eijnden (2018), is that a certain class of the finite-dimensional non-convex problems becomes convex when lifted to infinite-dimensional space of measures. We leverage this observation and show that the corresponding energy functional defined on the space of probability measures has a unique minimiser which can be characterised by a first-order condition using the notion of linear functional derivative. Next, we study the corresponding gradient flow structure in 2-Wasserstein metric, which we call Mean-Field Langevin Dynamics (MFLD), and show that the flow of marginal laws induced by the gradient flow converges to a stationary distribution, which is exactly the minimiser of the energy functional. We observe that this convergence is exponential under conditions that are satisfied for highly regularised learning tasks. Our proof of convergence to stationary probability measure is novel and it relies on a generalisation of LaSalle's invariance principle combined with HWI inequality. Importantly, we assume neither that interaction potential of MFLD is of convolution type nor that it has any particular symmetric structure. Furthermore, we allow for the general convex objective function, unlike, most papers in the literature that focus on quadratic loss. Finally, we show that the error between finite-dimensional optimisation problem and its infinite-dimensional limit is of order one over the number of parameters.

연구 동기 및 목표

• 비볼록 학습 과제에서 확률적 경사하강 유사 알고리즘의 수렴성을 이론적으로 기반화하는 것, 특히 깊은 신경망 학습을 위한 것.
• 유한차원 비볼록 문제를 무한차원 확률 Measures 공간으로 올려 올리면서 신경망의 에너지 경관을 분석하는 것.
• 선형 기능 도함수를 사용하여 에너지 기능의 최소화자 존재성과 유일성을 확립하는 것.
• 유연한 정규성 조건 하에서 MFLD 과정이 전역 최소화자에 해당하는 정적 분포로 지수적으로 수렴함을 증명하는 것.
• 유한차원 최적화와 그 평균장 근사 간의 근사 오차를 파rameter 수 N에 대해 O(1/N)로 정량화하는 것.

제안 방법

• 신경망 학습의 유한차원 비볼록 최적화 문제를 Measures 공간 위의 무한차원 문제로 올리는 것.
• Measures 공간 위에 에너지 기능을 정의하고, 선형 기능 도함수를 사용한 일阶 조건을 통해 그 유일한 최소화자를 특성화하는 것.
• 2-Wasserstein 거리에서의 경로 유도로써 평균장 랑주비안 역학(MFLD)을 정의하며, 시스템 법칙의 진화를 모델링하는 것.
• 일반화된 라살레의 불변성 원리를 적용하여 마진널 법이 정적 분포로 수렴함을 증명하는 것.
• 손실 함수 및 포텐셜의 정규성 조건 하에서, HWI 부등식을 활용하여 지수 수렴 속도를 확립하는 것.
• 일반적인 볼록 목표 함수에 대해, 유한차원 최적화와 그 평균장 근사 간의 오차 bound로 O(1/N)을 유도하는 것. 이는 제곱 손실에 국한되지 않는다.

실험 결과

연구 질문

• RQ1 과도하게 파rameter화된 신경망에서의 확률적 경사하강법 수렴은 평균장 근사에 의해 엄밀히 정당화될 수 있는가?
• RQ2 확률 Measures 공간에서의 에너지 기능은 유일한 최소화자를 가지며, 기능 도함수를 통해 특성화될 수 있는가?
• RQ3 평균장 랑주비안 역학이 전역 최소화자로 지수적으로 수렴하기 위한 조건은 무엇인가?
• RQ4 유한차원 학습과 평균장 근사 간의 근사 오차는 파rameter 수에 따라 어떻게 척도화되는가?
• RQ5 상호작용 포텐셜의 대칭성 또는 컨volution형 구조를 가정하지 않고도 수렴 증명을 확립할 수 있는가?

주요 결과

• 확률 Measures 공간에 정의된 에너지 기능은 선형 기능 도함수를 포함한 일阶 조건으로 특성화된 유일한 최소화자를 가진다.
• 평균장 랑주비안 역학(MFLD)은 에너지 기능의 전역 최소화자에 해당하는 정적 분포로 지수적으로 수렴한다.
• 수렴 증명은 라살레의 불변성 원리와 HWI 부등식의 새로운 응용에 기반하며, 유연한 정규성 조건 하에서 유효하다.
• 유한차원 최적화 문제와 그 무한차원 평균장 근사 간의 오차는 파rameter 수 N에 대해 O(1/N)으로 유계이다.
• 결과는 제곱 손실에 국한되지 않은 일반적인 볼록 목표 함수에 대해 유효하며, 상호작용 포텐셜이 컨volution 형식이거나 대칭일 필요가 없다.
• MFLD의 정적 분포는 정확히 에너지 기능의 최소화자이며, 이는 동역학과 해의 최적성 간의 직접적인 연결을 확립한다.