[논문 리뷰] Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent

Chi Jin, Praneeth Netrapalli외 1명|arXiv (Cornell University)|2017. 11. 28.

Stochastic Gradient Optimization Techniques인용 수 123

한 줄 요약

본 논문은 ε-이차 정상점(second-order stationary point)을 대략 Õ(1/ε^{7/4}) 반복에서 찾는 단일 루프 모멘텀 기반 알고리즘인 Perturbed Accelerated Gradient Descent(PAGD)를 제시하며, 비헤시안 비선형 최적화에서 ГD의 Õ(1/ε^{2})보다 빠르다.

ABSTRACT

Nesterov's accelerated gradient descent (AGD), an instance of the general family of "momentum methods", provably achieves faster convergence rate than gradient descent (GD) in the convex setting. However, whether these methods are superior to GD in the nonconvex setting remains open. This paper studies a simple variant of AGD, and shows that it escapes saddle points and finds a second-order stationary point in $\ ilde{O}(1/\\epsilon^{7/4})$ iterations, faster than the $\ ilde{O}(1/\\epsilon^{2})$ iterations required by GD. To the best of our knowledge, this is the first Hessian-free algorithm to find a second-order stationary point faster than GD, and also the first single-loop algorithm with a faster rate than GD even in the setting of finding a first-order stationary point. Our analysis is based on two key ideas: (1) the use of a simple Hamiltonian function, inspired by a continuous-time perspective, which AGD monotonically decreases per step even for nonconvex functions, and (2) a novel framework called improve or localize, which is useful for tracking the long-term behavior of gradient-based optimization algorithms. We believe that these techniques may deepen our understanding of both acceleration algorithms and nonconvex optimization.

연구 동기 및 목표

• 비볼록 최적화에서 모멘텀 방법에 대한 연구의 동기 부여와 saddle point를 벗어날 수 있는 능력.
• Hessian-free, 단일 루프 알고리즘을 개발하여 gradient descent보다 더 빠른 수렴으로 두 번째 차수 정상점에 도달.
• Hamiltonian 기반 분석과 새로운 개선-또는 국지화 프레임워크를 도입하여 비볼록 설정에서 가속을 이해하고 보증합니다.

제안 방법

• Perturbed Accelerated Gradient Descent(PAGD) 제안: perturbation과 음의 곡률(Negative Curvature Exploitation, NCE)을 활용하는 AGD의 변형.
• 비단조로운 목적 함수 값에도 진행 상황을 추적하기 위해 E_t = f(x_t) + (1/2η)||v_t||^2라는 Hamiltonian 함수를 사용합니다.
• saddle을 탈출하기 위해 그래디언트가 작을 때 무작위扰动를 추가합니다.
• Quadratic-like 불안정성이 탐지되면 Negative Curvature Exploitation을 작동시켜 Hamiltonian을 감소시킵니다.
• Hamiltonian 감소를 보장하기 위해 매개변수 η, θ, γ, s, script T, 반지름 r를 선택합니다.
• PAGD가 Õ(ℓ^{1/2}ρ^{1/4}(f(x_0)-f^*)/ε^{7/4}) 반복에서 고확률로 ε-차수 정상점을 달성함을 증명합니다.

실험 결과

연구 질문

• RQ1 모멘텀 기반 방법이 비볼록 설정에서 두 번째 차수 정상화를 목표로 할 때 GD보다 더 빠른 수렴을 보일 수 있는가?
• RQ2 Hessian 없이 단일 루프 알고리즘으로 GD보다 빠르게 ε-차수 정상점을 보장적으로 찾을 수 있는가?
• RQ3 Hamiltonian 프레임워크와 perturbations가 비볼록 최적화에서 가속 방법의 진행을 어떻게 분석하고 보장하는가?
• RQ4 무작위扰动와 음의 곡률 활용이 엄밀한 saddle point에서 효율적으로 탈출하는 메커니즘은 무엇인가?

주요 결과

• PAGD는 Õ(ℓ^{1/2}ρ^{1/4}(f(x_0)-f^*)/ε^{7/4}) 반복에서 ε-차수 정상점에 도달하며 GD보다 빠릅니다.
• PAGD는 이전의 중첩 루프 Hessian 기반 방법들과 달리 Hessian-free 및 단일 루프입니다.
• PAGD는 비볼록 설정에서 표준 GD 대비 1차 이상 정상점을 찾는 수렴 속도를 일치시키거나 개선합니다.
• PAGD를 통해 점진적으로 감소하는 해밀토니안(Hamiltonian)을 계산 가능한 형태로 도입하여 비볼록 최적화에서 진행 상태를 추적할 수 있습니다.
• 장기적 거동과 가속 효과를 분석하는 improve-or-localize 프레임워크 개발.
• 扰动 및 음의 곡률 활용 단계는 구현이 간단하고 Hamiltonian 감소를 보장합니다.