[논문 리뷰] Accelerated Methods for Non-Convex Optimization

Yair Carmon, John C. Duchi외 2명|arXiv (Cornell University)|2016. 11. 02.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 55

한 줄 요약

이 논문은 비볼록 최적화를 위한 헤시안을 사용하지 않는 가속 경사하강법을 제안하며, $O(\tilde{O}(\text{poly}(L_1, L_2, \triangle_f)\text{polylog}(1/\theta)\theta^{-7/4}))$의 향상된 수렴 속도를 통해 $\varepsilon$-정류점에 도달한다. 여기서 $L_1$과 $L_2$는 기울기와 헤시안의 리프시츠 상수이며, $\triangle_f$는 초기 함수값 갭이다. 이 방법은 $\nabla^2f(x) \succeq -O(\epsilon^{1/2})I$를 보장함으로써 두 번째 차수 정류성을 확보하며, 전체 헤시안을 계산하지 않고 기울기와 헤시안-벡터 곱만을 사용하므로 대규모 문제에 적합하다.

ABSTRACT

We present an accelerated gradient method for non-convex optimization problems with Lipschitz continuous first and second derivatives. The method requires time $O(ε^{-7/4} \log(1/ ε) )$ to find an $ε$-stationary point, meaning a point $x$ such that $\| abla f(x)\| \le ε$. The method improves upon the $O(ε^{-2} )$ complexity of gradient descent and provides the additional second-order guarantee that $ abla^2 f(x) \succeq -O(ε^{1/2})I$ for the computed $x$. Furthermore, our method is Hessian free, i.e. it only requires gradient computations, and is therefore suitable for large scale applications.

연구 동기 및 목표

• 기울기 정보만을 사용할 때 표준 경사하강법의 $O(\epsilon^{-2})$ 복잡도를 초월해 비볼록 최적화의 수렴 속도를 향상시키는 것.
• 명시적인 헤시안 계산 없이도 두 번째 차수 정류점(작은 기울기와 아래로 유계인 헤시안을 가진 점)을 달성하는 일阶 방법을 제공하는 것.
• 기울기와 헤시안-벡터 곱 평가에만 의존함으로써 대규모 문제에 적합한 확장 가능한 알고리즘을 설계하는 것.
• 정확도에 다항식적이고 차원에 대해 로그적 의존성을 갖는 두 번째 차수 정류점으로의 수렴을 달성하는 것.

제안 방법

• 이 방법은 네스테로프 스타일의 가속과 국소 정규화 기법을 조합하여 현재 반복점 주변에서 강력한 볼록성을 강제로 부여하는 목적 함수를 수정한다.
• 헤시안-벡터 곱 오라클을 사용해 국소 2차 모델을 구성함으로써 전체 헤시안을 형성하지 않고도 탐색 방향을 효율적으로 계산할 수 있다.
• 알고리즘은 기울기가 작은 점을 찾는 기울기 하강 단계와, 강력한 볼록성 매개수 $\sigma_1$를 갖는 정규화된 부분문제에 대해 가속 경사하강법을 적용하는 두 번째 단계를 번갈아 수행한다.
• 핵심 요소는 $f_+(x) = f(x) + L_1[\|x - x_+\| - \sigma_1/(4L_2)]_+^2$로 정의되는 수정된 함수로, 이 함수는 $x_+$ 주변에서 $f$와 일치하며 강력한 볼록성을 가지므로 국소 최소점으로의 빠른 수렴을 가능하게 한다.
• 이 방법은 최종 점에서 헤시안이 $\nabla^2f(x) \succeq -O(\epsilon^{1/2})I$를 만족함을 보장하여 두 번째 차수 보장을 제공한다.
• 전체 런타임은 $\widetilde{O}(\Delta_f L_1^{1/2} L_2^{1/4} \epsilon^{-7/4})$의 기울기와 헤시안-벡터 곱 평가 횟수로 제한된다.

실험 결과

연구 질문

• RQ1 기울기 정보만을 사용할 때, 첫 번째 차수 방법의 비볼록 최적화 수렴 속도를 $O(\epsilon^{-2})$를 초월해 향상시킬 수 있는가?
• RQ2 기울기와 헤시안-벡터 곱 정보만을 사용해 두 번째 차수 정류성(작은 기울기와 아래로 유계인 헤시안)을 달성할 수 있는가?
• RQ3 가속 경사하강법이 비볼록 문제에 적응되어 헤시안을 사용하지 않는 계산을 유지하면서도 더 빠른 수렴을 달성할 수 있는가?
• RQ4 비볼록 최적화에서 기울기 부드러움, 헤시안 부드러움, 수렴 속도 사이의 최적의 트레이드오���은 무엇인가?

주요 결과

• 제안된 방법은 $O(\tilde{O}(\Delta_f L_1^{1/2} L_2^{1/4} \epsilon^{-7/4}))$ 반복 내에 $\varepsilon$-정류점에 도달하며, 표준 경사하강법의 $O(\epsilon^{-2})$ 복잡도를 초월하는 성능 향상을 보인다.
• 이 방법은 계산된 점에서 헤시안이 $\nabla^2f(x) \succeq -O(\epsilon^{1/2})I$를 만족함을 보장하여 두 번째 차수 정류성을 확보한다.
• 엄격한 사다리 함수의 경우, 두 번째 차수 보장 덕분에 국소 최소점으로 선형 수렴 속도를 보인다.
• 알고리즘은 헤시안을 사용하지 않으며, 기울기와 헤시안-벡터 곱 평가만을 요구하므로 대규모 문제에 적합하다.
• 이 방법은 $\|\nabla f(x)\| \leq \varepsilon$ 이며 $\|x - x^\star_+\| \leq 2\varepsilon / \sigma_1$를 만족하는 점 $x$로 수렴함을 보장한다. 여기서 $x^\star_+$는 국소 최소점이다.
• 함수적 부적합성은 $f(x) - f(x^\star_+) \leq 2L_1 \varepsilon^2 / \sigma_1^2$로 유계이며, 이는 국소 최소점에 가까운 점으로의 수렴을 보장한다.