[논문 리뷰] NEON+: Accelerated Gradient Methods for Extracting Negative Curvature for Non-Convex Optimization

Yi Xu, Rong Jin외 1명|arXiv (Cornell University)|2017. 12. 04.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 8

한 줄 요약

이 논문은 비볼록 최적화에서 안정된 고도의 경사를 효과적으로 추출하기 위해 네스테로프 모멘터를 활용하는 가속 경사 하강법인 NEON+을 제안한다. 이는 안장점에서 더 빠르게 탈출할 수 있도록 하며, 2차 정류점에 도달하는 데 near-optimal한 반복 복잡도 Õ(1/ε^1.75)를 달성한다. 이는 표준 경사 하강법보다 향상되었고, 최고의 알려진 헤시안을 사용하지 않는 2차 방법과도 동일한 성능을 보인다.

ABSTRACT

Accelerated gradient (AG) methods are breakthroughs in convex optimization, improving the convergence rate of the gradient descent method for optimization with smooth functions. However, the analysis of AG methods for non-convex optimization is still limited. It remains an open question whether AG methods from convex optimization can accelerate the convergence of the gradient descent method for finding local minimum of non-convex optimization problems. This paper provides an affirmative answer to this question. In particular, we analyze two renowned variants of AG methods (namely Polyak's Heavy Ball method and Nesterov's Accelerated Gradient method) for extracting the negative curvature from random noise, which is central to escaping from saddle points. By leveraging the proposed AG methods for extracting the negative curvature, we present a new AG algorithm with double loops for non-convex optimization~\footnote{this is in contrast to a single-loop AG algorithm proposed in a recent manuscript~\citep{AGNON}, which directly analyzed the Nesterov's AG method for non-convex optimization and appeared online on November 29, 2017. However, we emphasize that our work is an independent work, which is inspired by our earlier work~\citep{NEON17} and is based on a different novel analysis.}, which converges to second-order stationary point $\x$ such that $\| abla f(\x)\|\leq ε$ and $ abla^2 f(\x)\geq -\sqrtε I$ with $\widetilde O(1/ε^{1.75})$ iteration complexity, improving that of gradient descent method by a factor of $ε^{-0.25}$ and matching the best iteration complexity of second-order Hessian-free methods for non-convex optimization.

연구 동기 및 목표

• 비볼록 최적화에서 수렴 속도를 가속화할 수 있는 가속 경사 하강법이 볼록 최적화에서 유래한 방법을 활용할 수 있는지 여부에 대한 열린 질문을 해결하기 위해.
• 1차 알고리즘을 개발하여 안장점에서 탈출하기 위해 음의 경사를 효율적으로 식별하고 활용하기 위해.
• 표준 경사 하강법보다 더 빠른 수렴 속도를 통해 2차 정류점에 도달하기 위해.
• 헤시안을 계산하지 않고도, 헤시안을 사용하지 않는 2차 방법의 최고 수준의 반복 복잡도를 달성하기 위해.

제안 방법

• 이 방법은 헤시안 근사에서 발생하는 랜덤 노이즈로부터 음의 경사를 추출하기 위해 네스테로프의 가속 경사(NAG) 프레임워크를 활용한다.
• 내부 루프는 NAG를 사용하여 음의 경사를 추출하고, 외부 루프는 반복을 2차 정류점으로 향해 갱신하는 双중 루프 구조를 도입한다.
• 곡률 변화를 제한하고 수렴 안정성을 보장하기 위해 헤시안-립시츠 조건을 사용한다.
• NAG 동역학을 통해 헤시안-벡터 곱을 분석함으로써 음의 경사 방향을 증폭시켜 음의 경사를 추출한다.
• 해당 방법은 헤시안의 명시적 계산을 피하고, 오직 경사 평가와 랜덤 노이즈 주입에 의존한다.
• 부드러움과 리프시츠 헤시안 조건 하에서 수렴을 분석하여 비볼록성에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 볼록 최적화에서 유래한 가속 경사 하강법이 비볼록 문제에서 수렴 속도를 가속화하는 데 적합한가?
• RQ2 네스테로프의 모멘터가 안장점 탈출을 위해 음의 경사를 효과적으로 추출하는 데 사용될 수 있는가?
• RQ3 비볼록 최적화에서 1차 방법이 2차 정류점에 도달하기 위한 최적의 반복 복잡도는 무엇인가?
• RQ4 헤시안을 계산하지 않고도 표준 경사 하강법을 초월하는 수렴 속도를 달성할 수 있는가?

주요 결과

• NEON+는 2차 정류점에 도달하는 데 Õ(1/ε^1.75)의 반복 복잡도를 달성한다. 여기서 ∥∇f(x)∥ ≤ ε 이고 ∇²f(x) ≥ −√εI 이다.
• 이 복잡도는 표준 경사 하강법에 비해 ε^−0.25 배 향상되어 수렴 속도가 크게 가속화된다.
• 이 방법은 헤시안을 사용하지 않는 2차 방법의 최고 수준의 반복 복잡도를 달성했으며, 1차 정보만을 사용한다.
• 알고리즘은 헤시안의 명시적 계산을 피하고, 오직 경사 평가와 랜덤 노이즈를 사용하여 음의 경사를 성공적으로 추출한다.