[논문 리뷰] Finding Approximate Local Minima for Nonconvex Optimization in Linear Time.

Naman Agarwal, Zeyuan Allen Zhu외 3명|arXiv (Cornell University)|2016. 11. 03.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 39

한 줄 요약

이 논문은 입력 크기와 선형적인 시간 내에 근사 국소 최솟값을 찾는 새로운 비볼록 제2차 최적화 알고리즘을 제안한다. 이 알고리즘은 경사하강법보다 빠른 속도를 보이며, 신경망 학습과 같은 일반적인 비볼록 문제에 적용 가능하다. 국소 최솟값에 수렴하는 데 있어 증명 가능한 효율성을 제공한다.

ABSTRACT

We design a non-convex second-order optimization algorithm that is guaranteed to return an approximate local minimum in time which is linear in the input representation. The time complexity of our algorithm to find an approximate local minimum is even faster than that of gradient descent to find a critical point. Our algorithm applies to a general class of optimization problems including training a neural network and other non-convex objectives arising in machine learning.

연구 동기 및 목표

• 비볼록 문제에 대해 입력 크기와 선형적인 시간 내에 근사 국소 최솟값으로 수렴하는 최적화 알고리즘을 개발하는 것.
• 기존 제2차 최적화 방법이 비볼록 환경에서 계산적으로 비효율적인 문제를 해결하는 것.
• 경사하강법처럼 임계점을 찾기만 하는 데 그치지 않고, 증명 가능한 효율성을 갖춘 대안을 제공하는 것.
• 딥러닝과 같은 실제 기계학습 작업, 특히 신경망 학습에 대한 실용적 적용 범위를 넓히는 것.

제안 방법

• 알고리즘은 비볼록 목표 함수에 특화된 제2차 최적화 프레임워크를 사용한다.
• 헤시안 기반 곡률 정보를 활용하여 안정점에서 벗어나 효율적으로 국소 최솟값으로 수렴한다.
• 입력 표현 크기와 선형적인 시간 내에 수렴 보장을 확보한다.
• 국소 곡률에 기반한 적응형 스텝 크기를 사용하여 수렴 속도를 가속화한다.
• 딥러닝에서 사용되는 함수를 포함한 일반적인 비볼록 함수를 처리할 수 있도록 설계되었다.

실험 결과

연구 질문

• RQ1 제2차 최적화 방법이 비볼록 문제에 대해 입력 크기와 선형적인 시간 내에 근사 국소 최솟값을 찾을 수 있는가?
• RQ2 임계점에 도달하기 위해 경사하강법과 비교해 제안된 알고리즘이 런타임에서 어떤 성능을 보이는가?
• RQ3 이 방법은 다양한 비볼록 기계학습 목표 함수에 대해 효율성과 수렴 보장을 유지하는가?
• RQ4 고비용의 계산 부담 없이도 알고리즘이 신경망 학습에 효과적으로 적용될 수 있는가?

주요 결과

• 알고리즘이 입력 크기와 선형적인 시간 내에 근사 국소 최솟값으로 수렴함을 보장한다.
• 경사하강법이 임계점만 찾는 데 비해, 이 알고리즘은 더 빠르게 수렴한다.
• 이 방법은 신경망 학습을 포함한 광범위한 비볼록 최적화 문제에 적용 가능하다.
• 이론적 분석을 통해 문제 클래스에 대해 시간 복잡도가 최적임을 확인한다.