[논문 리뷰] Finding Local Minima for Nonconvex Optimization in Linear Time

Naman Agarwal, Zeyuan Allen-Zhu외 3명|arXiv (Cornell University)|2016. 11. 03.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 문제 차원과 학습 예제 수에 비례하는 선형 시간 내에 근사 국소 최솟값을 찾는 비볼록 제2차 최적화 알고리즘을 제안한다. 이 알고리즘은 수렴 속도에서 경사 하강법을 능가하며, 신경망 학습과 같은 기계학습 문제에 널리 적용 가능하다.

ABSTRACT

We design a non-convex second-order optimization algorithm that is guaranteed to return an approximate local minimum in time which scales linearly in the underlying dimension and the number of training examples. The time complexity of our algorithm to find an approximate local minimum is even faster than that of gradient descent to find a critical point. Our algorithm applies to a general class of optimization problems including training a neural network and other non-convex objectives arising in machine learning.

연구 동기 및 목표

• 기계학습에서 흔히 발생하는 비볼록 문제에서 근사 국소 최솟값을 효율적으로 찾는 최적화 알고리즘을 개발하는 것.
• 파rameter 수와 학습 예제 수 양쪽 모두에 대해 선형 시간 복잡도를 달성하는 것.
• 비틀림점에 도달하는 데 있어 경사 하강법보다 수렴 속도를 빠르게 하는 것.
• 일반적인 비볼록 목표 함수에서 근사 국소 최솟값으로의 수렴에 대한 이론적 보장을 제공하는 것.
• 신경망과 같은 복잡한 모델로의 적용 범위를 넓히는 것.

제안 방법

• 알고리즘은 제1차 방법보다 비볼록 경로를 더 효과적으로 탐색하기 위해 제2차 최적화 기법을 활용한다.
• 곡률 정보를 활용하여 국소 최솟값으로 향하는 수렴 속도를 가속화한다.
• 알고리즘은 매개변수 공간의 차원과 학습 예제 수에 대해 선형적으로 확장되도록 설계되어 있다.
• 일반적인 비볼록 조건 하에서 근사 국소 최솟값으로의 수렴을 보장한다.
• 신경망 학습을 포함한 다양한 기계학습 목표 함수의 광범위한 클래스를 다룰 수 있도록 알고리즘을 구성한다.
• 제2차 정보를 활용함으로써 경사 하강법보다 더 빠른 수렴을 달성한다.

실험 결과

연구 질문

• RQ1 제2차 최적화 알고리즘이 비볼록 문제에 대해 파라미터 수와 학습 예제 수에 비례하는 선형 시간 내에 근사 국소 최솟값을 찾을 수 있는가?
• RQ2 이 알고리즘의 수렴 속도는 비틀림점에 도달하는 데 있어 경사 하강법과 비교해 어떻게 되는가?
• RQ3 이 방법은 문제 차원과 학습 세트 크기 양쪽에 대해 선형 확장성을 유지하는가?
• RQ4 이 알고리즘은 신경망 학습과 같은 일반적인 비볼록 목표 함수에 효과적으로 적용될 수 있는가?
• RQ5 이 접근법을 사용해 근사 국소 최솟값으로의 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 알고리즘은 매개변수 수와 학습 예제 수에 비례하는 선형 시간 내에 근사 국소 최솟값을 찾는다.
• 경사 하강법이 비틀림점 수렴을 보장할 뿐이지만, 이 알고리즘은 더 빠른 수렴을 달성한다.
• 이 방법은 신경망 학습을 포함한 일반적인 비볼록 최적화 문제의 클래스에 적용 가능하다.
• 알고리즘은 근사 국소 최솟값으로의 수렴에 대해 이론적 보장을 제공한다.
• 유사한 목표 함수에 대해 표준 경사 하강법 대비 뛰어난 시간 복잡도를 보인다.
• 이 접근법은 대규모 기계학습 문제에 대해 확장 가능하고 효율적이다.