[논문 리뷰] Finding Approximate Local Minima Faster than Gradient Descent

Naman Agarwal, Zeyuan Allen-Zhu외 3명|arXiv (Cornell University)|2016. 11. 03.

Stochastic Gradient Optimization Techniques인용 수 10

한 줄 요약

이 논문은 차원과 학습 샘플 크기의 선형 시간에 ε-근사 국소 최솟값을 찾는 데 성공하는 새로운 비볼록 2차 최적화 알고리즘인 FastCubic을 소개한다. 이 알고리즘은 헤시안-벡터 곱과 가속화된 하위문제 해법을 활용하여 기울기 강하법보다 더 빠른 수렴 속도를 달성한다. 이는 비볼록 문제의 경우, 특히 딥 뉴럴 네트워크 학습을 포함한 매끄럽고 비볼록 문제에 대해 증명 가능한 최적의 실행 시간을 제공한다.

ABSTRACT

We design a non-convex second-order optimization algorithm that is guaranteed to return an approximate local minimum in time which scales linearly in the underlying dimension and the number of training examples. The time complexity of our algorithm to find an approximate local minimum is even faster than that of gradient descent to find a critical point. Our algorithm applies to a general class of optimization problems including training a neural network and other non-convex objectives arising in machine learning.

연구 동기 및 목표

• 현대 머신러닝에서 핵심 과제인 비볼록 최적화에서 근사 국소 최솟값을 보장적으로 효율적으로 찾는 알고리즘을 설계하는 것.
• 기울기 강하법과 같은 1차 방법이 비틀림 점 식별에 있어서 1/ε² 수렴 장벽을 극복하는 것.
• 국소 최솟값이 아닌 비틀림 점을 찾는 데에도 기울기 강하법보다 더 빠른 실행 시간을 달성하는 것.
• 딥 뉴럴 네트워크 학습을 포함한 표준 머신러닝 목표에 적용 가능한 일반 목적의 알고리즘을 제공하는 것.
• 2차 최적화 함수에 대해 차원과 샘플 크기에 대해 선형적으로 스케일링되는 이론적 실행 시간 경계를 설정하는 것.

제안 방법

• 알고리즘인 FastCubic는 헤시안-벡터 곱을 활용하여 뉴턴 단계를 효율적으로 근사하는 입체 정규화 프레임워크를 사용한다.
• 각 반복에서 입체 모델을 최소화하기 위해 네스테로프 스타일의 가속화를 기반으로 한 가속화된 하위문제 해법을 사용한다.
• 입체 모델의 충분한 감소를 보장하기 위해 정규화 매개변수를 올바르게 계산하기 위해 이진 검색 절차를 사용한다.
• 부정적 곡률를 탐지하기 위해 파wr 메서드와 시프트-인버트 기법을 활용한 근사 고유벡터 계산을 활용한다.
• 많은 머신러닝 문제에서 헤시안-벡터 곱은 O(d) 시간에 계산 가능하므로, 차원과 샘플 크기에 대해 선형 의존성을 확보할 수 있다.
• 행렬 역행렬의 근사치를 조건부 반복 해법을 통해 계산하며, 실행 시간은 선형 시스템을 푸는 데 드는 비용으로 제한된다.

실험 결과

연구 질문

• RQ1 기울기 강하법보다 더 빠르게 근사 국소 최솟값을 찾는 2차 최적화 알고리즘을 설계할 수 있는가?
• RQ2 기본적인 매끄러움 조건 하에서 비볼록 최적화에 대해 차원과 샘플 크기에 대해 선형 시간 수렴을 달성할 수 있는가?
• RQ3 비틀림 점을 찾는 데에도 1차 방법보다 2차 방법이 성능을 뛰어넘을 수 있는가?
• RQ4 비볼록 환경에서 근사 국소 최솟값을 찾는 데 있어 정확도 ε과 실행 시간 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 딥 러닝과 같은 대규모 머신러닝 문제에서 헤시안-벡터 곱을 효율적으로 활용할 수 있는 방법은 무엇인가?

주요 결과

• 유한합 문제에 대해 FastCubic는 Õ(nd/ε³ᐟ² + n³ᐟ⁴d/ε⁷ᐟ⁴) 시간 내에 ε-근사 국소 최솟값을 찾을 수 있으며, 이는 기울기 강하법의 비틀림 점 찾기 O(nd/ε²)보다 빠르다.
• 일반적인 비볼록 문제에 대해 실행 시간은 Õ(1/ε⁷ᐟ⁴ · Th)이며, 여기서 Th는 헤시안-벡터 곱을 계산하는 데 드는 시간이다.
• 비틀림 점을 찾는 데 있어 이전의 모든 방법보다 더 빠른 수렴 속도를 달성하며, 1차 방법의 1/ε² 장벽을 뛰어넘는다.
• 뉴럴 네트워크 학습에 대해 FastCubic는 Õ(nd/ε³ᐟ² + n³ᐟ⁴d/ε⁷ᐟ⁴) 시간 내에 실행되며, 헤시안-벡터 곱은 O(d) 시간에 계산 가능하다.
• 알고리즘은 근사 국소 최솟값에 대해 기울기 조건와 헤시안 조건를 모두 보장한다: ‖∇f(x)‖ ≤ ε 및 ∇²f(x) ⪰ −√εI.
• 이론적 분석에 따르면 알고리즘의 실행 시간은 선형 시스템을 푸는 데 의해 지배되며, 행렬 역행렬과 고유벡터 근사의 비용은 조건부 반복 방법을 통해 제한된다.