[논문 리뷰] Global Convergence of Second-order Dynamics in Two-layer Neural Networks

Walid Krichene, Kenneth Paulo Caluya외 1명|arXiv (Cornell University)|2020. 07. 14.

Model Reduction and Neural Networks참고 문헌 36인용 수 6

한 줄 요약

이 논문은 평균 장(limit) 하에서 두 층 신경망에서 중량 운동 방법—이阶 최적화 동역학—의 전역 수렴성을 확립한다. 동역학에서 유도된 비선형 운동학적 Fokker-Planck 방정식을 분석하고 리아푸노프 함수를 사용하여 저자들은 점근적 수렴을 전역 최적해로 증명한다. 이는 이전의 일阶 경사 하강 흐름 결과를 움직임 기반 방법으로 확장하며, 워샤르-기반 경사 하강 흐름 연결에 의존하지 않는다.

ABSTRACT

Recent results have shown that for two-layer fully connected neural networks, gradient flow converges to a global optimum in the infinite width limit, by making a connection between the mean field dynamics and the Wasserstein gradient flow. These results were derived for first-order gradient flow, and a natural question is whether second-order dynamics, i.e., dynamics with momentum, exhibit a similar guarantee. We show that the answer is positive for the heavy ball method. In this case, the resulting integro-PDE is a nonlinear kinetic Fokker Planck equation, and unlike the first-order case, it has no apparent connection with the Wasserstein gradient flow. Instead, we study the variations of a Lyapunov functional along the solution trajectories to characterize the stationary points and to prove convergence. While our results are asymptotic in the mean field limit, numerical simulations indicate that global convergence may already occur for reasonably small networks.

연구 동기 및 목표

• 평균 장 한계 하에서 두 층 신경망에서 이阶 동역학, 특히 중량 운동 방법이 전역 수렴성을 가지는지 조사하는 것.
• 기존의 일阶 경사 하강 흐름 수렴 결과를 운동 기반 최적화 동역학으로 확장하는 것.
• 중량 운동 방법의 평균 장 한계를 분석하여, 워샤르-기반 경사 하강 흐름과 직접적인 연결이 없는 비선형 운동학적 Fokker-Planck 방정식을 도출하는 것.
• 워샤르-기반 연결이 없음에도 불구하고 리아푸노프 함수를 통한 접근을 통해 전역 최적해로의 수렴을 확립하는 것.

제안 방법

• 네트워크 파라미터 θ ∈ ℝ^d 위에 정의된 확률 측도 μ를 사용하여 두 층 신경망을 측도 기반 최적화 문제로 공식화한다.
• 일정한 감쇠를 가진 두 번째 차수 미분방정식으로 중량 운동 동역학을 모델링하여 평균 장 한계에서 비선형 운동학적 Fokker-Planck 방정식을 도출한다.
• 해의 궤적을 따라 변화하는 리아푸노프 함수를 정의하여 정적 점을 특성화하고 수렴을 보장한다.
• 리아푸노프 함수가 궤적을 따라 단조 감소함을 증명하여 전역 최소화자로의 수렴을 의미한다.
• 정규화 함수 g(θ)가 구속성(confining)이고 위험 기능 R이 볼록이며 프레셰 미분 가능함을 가정하여 문제의 잘 정의됨을 보장한다.
• 이전의 제곱 손실 설정에서의 조건을 볼록 설정으로 일반화하여 기능 도함수의 균일 등연속성과 유계성을 보장한다.

실험 결과

연구 질문

• RQ1 중량 운동 방법—이阶 최적화 동역학—은 평균 장 한계 하에서 두 층 신경망에서 전역 최적해로 전역 수렴하는가?
• RQ2 워샤르-기반 경사 하강 흐름 연결에 의존하지 않고도 이阶 동역학의 수렴을 확립할 수 있는가, 일阶 경우와 마찬가지로?
• RQ3 리아푸노프 함수는 평균 장 영역에서 중량 운동 방법의 정적 점을 특성화하고 수렴을 증명하는 데 어떤 역할을 하는가?
• RQ4 정규화 함수와 위험 기능에 대한 가정이 제곱 손실에서 볼록 설정으로 일반화될 때 수렴 보장이 어떻게 유지되는가?
• RQ5 수치 시뮬레이션은 유한한 너비의 네트워크에서도 전역 수렴이 이미 발생할 수 있음을 어느 정도 시사하는가?

주요 결과

• 워샤르-기반 경사 하강 흐름 연결이 없음에도 불구하고, 두 층 신경망에서 중량 운동 방법은 평균 장 한계 하에서 전역 최적해로 전역 수렴한다.
• 중량 운동 방법의 평균 장 동역학은 움직임 기반 경사 하강 흐름에서 관찰되는 워샤르-기반 경사 하강 흐름과 근본적으로 다른 비선형 운동학적 Fokker-Planck 방정식에 의해 지배된다.
• 궤적을 따라 단조 감소하는 리아푸노프 함수가 구성되며, 이는 전역 최소화자로의 수렴을 증명한다.
• 미세한 가정 하에 정규화된 위험 기능의 기능 도함수는 균일 등연속성과 유계성을 보이며, 이는 평균 장 동역학의 잘 정의됨을 보장한다.
• 결과는 평균 장 한계에서 점근적이다. 그러나 수치 시뮬레이션은 합리적인 작은 너비의 네트워크에서도 전역 수렴이 이미 발생할 수 있음을 시사한다.
• 제곱 손실의 경우, 이전 연구에서 제시된 가정 (B1)과 (B2)는 일반화된 가정 (A4)를 함의하므로, 기존 결과와의 일관성을 검증한다.