[논문 리뷰] On the Global Convergence of Gradient Descent for Over-parameterized Models using Optimal Transport

Lénaïc Chizat, Francis Bach|arXiv (Cornell University)|2018. 05. 23.

Stochastic Gradient Optimization Techniques참고 문헌 1인용 수 187

한 줄 요약

이 논문은 이 discretized measures(입자)에 대한 gradient flows를 연구하고, 다입자 극한에서 관련된 Wasserstein gradient flow가 특정 동질성 및 초기화 분리 조건하에서 전역 최소점으로 수렴함을 증명한다. 이는 과도하게 매개화된 비볼록 모델에 대한 질적 일관성 원칙을 제공한다.

ABSTRACT

Many tasks in machine learning and signal processing can be solved by minimizing a convex function of a measure. This includes sparse spikes deconvolution or training a neural network with a single hidden layer. For these problems, we study a simple minimization method: the unknown measure is discretized into a mixture of particles and a continuous-time gradient descent is performed on their weights and positions. This is an idealization of the usual way to train neural networks with a large hidden layer. We show that, when initialized correctly and in the many-particle limit, this gradient flow, although non-convex, converges to global minimizers. The proof involves Wasserstein gradient flows, a by-product of optimal transport theory. Numerical experiments show that this asymptotic behavior is already at play for a reasonable number of particles, even in high dimension.

연구 동기 및 목표

• 비선형(비볼록) 입자 gradient flow가 과대 매개화 설정에서 언제 그리고 왜 전역 최소에 수렴하는지 설명한다.
• Finite-particle gradient flows를 무한 차원의 Wasserstein gradient flow 프레임워크로 연결한다.
• 동질성 및 구조화된 초기화가 신경망 및 희소 디컨볼루션과 관련된 lifted 형식에서 글로벌 최적성으로 이끄는 방법을 보인다.
• 단일 은닉층 신경망과 희소 스파이크 디컨볼루션에 결과를 적용하여 가이드를 제공한다.

제안 방법

• 알 수 없는 측정 mu를 평활 손실 R과 퍼텐셜 V를 분리하는 convex functional F(mu)로 lift하고 이를 Lifted representation Phi 및 도메인 Omega를 통해 구현한다.
• mu를 m개의 입자의 혼합으로 이산화하고 F_m의 입자 gradient flow를 연구하며 속도는 투영된 음의 기울기(Eq. 5)로 주어진다.
• 입자 역학에서 확률 측정치에서의 F의 Wasserstein gradient flow로 이동하며 속도는 Wasserstein 부분도함수의 연쇄방정식(정의 2.4)에 의해 지배된다.
• 일반적인 다입자 극한을 확립한다: mu_{m,t}가 한정된 dynamics를 풀는 Wasserstein gradient flow mu_t로 수렴한다(Theorem 2.6).
• 두 가지 동질성 설정에서의 전역 수렴을 분석한다: 2-동질성(ReLU, lift된 문제 포함) 및 부분적 1-동질성(유한 Phi, 예: 희소 디컨볼루션 및 시그모이드 네트워크) 케이스(Theorems 3.3 및 3.5).
• 이 결과를 희소 디컨볼루션 및 단일 은닉층 신경망에 적용하고 초기화 및 경계/사르드 유형의 규칙성 가정을 자세히 제시한다(섹션 4).

실험 결과

연구 질문

• RQ1 입자 표현의 gradient flow가 F의 전역 최소로 수렴하도록 하는 구조적 조건(동질성)과 초기화 패턴은 무엇인가?
• RQ2 과대 매개화 모델의 finite-particle gradient flow 역학이 mean-field 한계에서 Wasserstein gradient flow로 기술될 수 있는가?
• RQ3 lift된 동질적 표현이 희소 디컨볼루션 및 시그모이드/ReLU 활성화를 갖는 단일 은닉층 신경망 같은 실제 아키텍처에 어떻게 적용되는가?
• RQ4 초기화 분리 특성과 Sard-type 규칙성은 글로벌 최소로의 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ5 실험적으로(유한 m) 입자 시스템이 Wasserstein 프레임워크가 예측하는 점근적 글로벌 수렴을 보이는가?

주요 결과

• 다입자 극한에서 이산 입자 gradient flow는 F에 대해 적절한 초기 조건 하에서 고유한 Wasserstein gradient flow로 수렴한다(Theorem 2.6).
• Wasserstein gradient flow가 2-동질성 또는 부분적 1-동질성 하에서 수렴하면 극한은 F의 글로벌 최소점이다(Theorems 3.3 및 3.5).
• 신경망 및 희소 디컨볼루션에 대응하는 lifted 문제의 경우 매개변수 공간의 특정 구를 분리하는 초기화 패턴으로 글로벌 수렴을 보장한다(정 Assumptions in Theorems 3.3, 3.5).
• 단일 은닉층 네트워크에서 ReLU 및 시그모이드 활성화에 대한 분석이 경계 조건 및 Sard-type 규칙성 논의를 포함해 수렴을 보장한다(섹션 4).
• 수치 실험은 충분한 입자 수로 점근적 regime이 관찰 가능하며, 입자 gradient flow가 고정된 큰 입자 격자에서의 최적화보다 우수할 수 있음을 시사한다(섹션 4.3).