[논문 리뷰] Overparameterized Nonlinear Learning: Gradient Descent Takes the Shortest Path?

Samet Oymak, Mahdi Soltanolkotabi|arXiv (Cornell University)|2018. 12. 25.

Stochastic Gradient Optimization Techniques인용 수 56

한 줄 요약

이 논문은 오버파라미터화된 비선형 학습에서 경사하강법(및 SGD)이 기하급수적 속도로 글로벌 최적해로 수렴하고, 초기화 부근에 머물며, 초기화에 가까운 직접 경로로 글로벌 최적해에 이르는 근접한 경로를 따른다.

ABSTRACT

Many modern learning tasks involve fitting nonlinear models to data which are trained in an overparameterized regime where the parameters of the model exceed the size of the training dataset. Due to this overparameterization, the training loss may have infinitely many global minima and it is critical to understand the properties of the solutions found by first-order optimization schemes such as (stochastic) gradient descent starting from different initializations. In this paper we demonstrate that when the loss has certain properties over a minimally small neighborhood of the initial point, first order methods such as (stochastic) gradient descent have a few intriguing properties: (1) the iterates converge at a geometric rate to a global optima even when the loss is nonconvex, (2) among all global optima of the loss the iterates converge to one with a near minimal distance to the initial point, (3) the iterates take a near direct route from the initial point to this global optima. As part of our proof technique, we introduce a new potential function which captures the precise tradeoff between the loss function and the distance to the initial point as the iterations progress. For Stochastic Gradient Descent (SGD), we develop novel martingale techniques that guarantee SGD never leaves a small neighborhood of the initialization, even with rather large learning rates. We demonstrate the utility of our general theory for a variety of problem domains spanning low-rank matrix recovery to neural network training. Underlying our analysis are novel insights that may have implications for training and generalization of more sophisticated learning problems including those involving deep neural network architectures.

연구 동기 및 목표

• 오버파라미터화된 비선형 학습 설정에서 학습 역학을 동기부여하고 분석한다.
• 약한 국소 야코비 행렬 가정 하에서 경사하강법과 SGD의 수렴 거동을 특징화한다.
• 그래디언트 방법들이 데이터를 보간하고 초기화 근처의 전역 최적해로 수렴함을 보인다.
• 일반화 선형 모델, 저랭크 회귀, 그리고 얕은 신경망에 대한 적용 가능성을 보여준다.

제안 방법

• 비선형 최소제곱 문제를 형식화하고 그래디언트를 야코비 행렬을 이용해 표현한다.
• 국소 이웃에서 야코비 스펙트럼과 야코비 편차에 대한 가정을 부과한다.
• 가정하에 경사하강법의 전역 최적해에 대한 선형 수렴을 증명한다.
• 마팅게일 기법을 이용하여 초기화의 이웃 영역에 머무르면서 SGD가 높은 확률로 수렴한다는 것을 증명한다.
• 일반 이론을 일반화 선형 모델, 저랭크 회귀, 얕은 신경망에 적용한다.

실험 결과

연구 질문

• RQ1 오버파라미터화된 비선형 학습에서 어떤 조건하에 경사하강법과 SGD가 전역 최적해로 수렴하는가?
• RQ2 경사 방법은 초기화에 가까운 전역 최적해를 선택하고 초기화에서 최적해까지 짧고 직접적인 경로를 따라가나?
• RQ3 야코비 스펙트럼과 그 국소 편차가 수렴 및 궤적에 어떤 영향을 미치는가?
• RQ4 이 이론을 GLM, 저랭크 회귀 및 얕은 신경망에 구체화할 수 있는가?
• RQ5 오버파라미터화된 영역에서 보간, 일반화 및 학습 역학에 대한 시사점은 무엇인가?

주요 결과

• 로컬 야코비 가정 하에서 비볼록(nonconvex) 오버파라미터화된 환경에서 경사하강법은 기하급수적으로 전역 최적해로 수렴한다.
• 모든 전역 최적해 중에서 경사하강법은 초기화에 가장 가까운 해로 수렴한다.
• 전체 그래디언트 경로 길이는 상한을 가지며 초기화에서 전역 최적해로의 거의 직접적인 궤적을 시사한다.
• SGD는 선형 수렴하고 상대적으로 큰 학습률에도 불구하고 높은 확률로 초기화의 작은 이웃에 머문다.
• 이 이론은 일반화 선형 모델, 저랭크 행렬 회귀, 얕은 신경망 학습에 걸쳐 시연된다.