[논문 리뷰] A Mean Field View of the Landscape of Two-Layers Neural Networks

Mei Song, Andrea Montanari외 1명|arXiv (Cornell University)|2018. 04. 18.

Model Reduction and Neural Networks참고 문헌 23인용 수 44

한 줄 요약

이 논문은 두 층 신경망에 대한 확률적 경사 하강법(SGD)의 평균장(mean-field) 스케일링 한계를 도출하고, Wasserstein 공간에서의 그래디언트 흐름으로 SGD를 기술하는 비선형 PDE(분포 동역학)를 형성하며, 여러 설정에서 SGD가 거의 최적 일반화에 도달할 수 있음을 시사하는 수렴 결과를 보인다.

ABSTRACT

Multi-layer neural networks are among the most powerful models in machine learning, yet the fundamental reasons for this success defy mathematical understanding. Learning a neural network requires to optimize a non-convex high-dimensional objective (risk function), a problem which is usually attacked using stochastic gradient descent (SGD). Does SGD converge to a global optimum of the risk or only to a local optimum? In the first case, does this happen because local minima are absent, or because SGD somehow avoids them? In the second, why do local minima reached by SGD have good generalization properties? In this paper we consider a simple case, namely two-layers neural networks, and prove that -in a suitable scaling limit- SGD dynamics is captured by a certain non-linear partial differential equation (PDE) that we call distributional dynamics (DD). We then consider several specific examples, and show how DD can be used to prove convergence of SGD to networks with nearly ideal generalization error. This description allows to 'average-out' some of the complexities of the landscape of neural networks, and can be used to prove a general convergence result for noisy SGD.

연구 동기 및 목표

• 한 패스 SGD 방식에서 두 층 신경망의 학습을 동기 부여하고 분석한다.
• N→∞, ε→0의 극한에서 SGD를 설명하는 분포 동역학 PDE를 도입한다.
• PDE가 대칭성을 활용하고 풍경 분석을 단순화하는 방법을 보여준다.
• 대표적인 데이터/모델에서 거의 최적 일반화로의 수렴을 보인다.
• 유한-N 및 소음 SGD 확장과 수렴 보장을 제공한다.

제안 방법

• Population risk를 R_N(θ) = R# + 2∫V(θ)ρ(dθ) + ∫∫U(θ,θ′)ρ(dθ)ρ(dθ′)로 표현한다.
• Distributional dynamics PDE를 도출한다: ∂tρ_t = 2ξ(t) ∇·(ρ_t ∇Ψ(θ;ρ_t)) with Ψ = V + ∫U(θ,θ′)ρ(dθ′).
• 무한-N 극한에서의 Wasserstein 그래디언트 흐름과의 연결을 보인다.
• 노이즈 SGD로 확장하여 확산 보강 PDE를 얻는다: ∂tρ_t = 2ξ(t)∇·(ρ_t ∇Ψ_λ(θ;ρ_t)) + 2ξ(t)/β Δθρ_t.
• 혼잡 전파(propagation of chaos)를 증명한다: SGD로부터의 경험적 분포가 주어진 스케일링 하에서 ρ_t로 수렴한다.
• R_N(θ^k)와 R(ρ_t)를 연결하는 비점근 경계를 제공한다.
• 이 프레임워크를 등방성/비등방성 가우시안 데이터 및 ReLU 활성화에 적용하여 수렴 및 실패 모드를 설명한다.

실험 결과

연구 질문

• RQ1 일반적인 데이터 분포 하에서 이층 신경망에 대한 SGD가 전역 최적해로 수렴하는가, 아니면 국소 최적점이 지속되는가?
• RQ2 대규모 N 극한에서 평균장 PDE가 SGD의 동역학을 정확히 기술할 수 있는가, 일반화에 대한 시사점은 무엇인가?
• RQ3 대칭성을 갖는 데이터 분포(등방성/비등방성 가우시안)가 극한 동역학과 수렴에 어떤 영향을 미치는가?
• RQ4 분포 동역학 프레임워크 내에서 어떤 유한-N 및 노이즈-SGD 보장을 확립할 수 있는가?
• RQ5 어떤 조건에서 SGD가 나쁜 국소최소를 벗어나 거의 이상적 일반화에 도달할 수 있는가?

주요 결과

• 두 층 네트워크의 SGD 역학은 확장 극한에서 비선형 PDE(분포 동역학)로 포착된다(N→∞, ε→0).
• DD는 Wasserstein 공간의 그래디언트 흐름으로 작용하며, 지역 질량 보존을 가지는 근사적 위험 R(ρ)을 최소화한다.
• 노이즈가 있는 SGD의 경우, 역학은 엔트로피 보정 자유 에너지의 최소화를 향해 수렴하며, N에 무관하게 많은 단계에서 전역 수렴을 얻는다.
• 여러 구성된 예제들에서(등방성/비등방성 가우시안, 다양한 활성화) SGD가 거의 이상적인 일반화에 도달하는 네트워크로 수렴하며, 유한-N 동작은 PDE 예측과 밀접하게 일치한다.
• 이 이론은 유한-N 위험과 극한 위험을 연결하는 비점근 오차 경계와 DD 및 확산 DD의 고정점 및 안정성 특성을 설명한다.
• 수치 실험은 정적(최소점) 및 동적(수렴 궤적) 모두에 대해 DD 예측을 뒷받침한다.