[논문 리뷰] Accelerated Gradient Methods for Nonconvex Nonlinear and Stochastic Programming

Saeed Ghadimi, Guanghui Lan|arXiv (Cornell University)|2013. 10. 14.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 6

한 줄 요약

이 논문은 네스테로프의 가속화된 경사하강(AG) 방법을 비볼록 및 확률적 최적화 문제로 일반화하며, 적절한 스텝사이즈 정책을 사용할 경우, 부드러운 비볼록 문제에서 기존에 알려진 최고의 수렴 속도를 달성함을 보여준다. 이는 경사하강법의 수렴 속도와 일치한다. 또한 복합 비볼록 문제에 대해 균일 수렴을 확립하고, 비볼록 확률적 프로그래밍에 대해 기존 수렴 속도를 향상시킨 랜덤화된 확률적 AG 방법을 제안한다.

ABSTRACT

In this paper, we generalize the well-known Nesterov's accelerated gradient (AG) method, originally designed for convex smooth optimization, to solve nonconvex and possibly stochastic optimization problems. We demonstrate that by properly specifying the stepsize policy, the AG method exhibits the best known rate of convergence for solving general nonconvex smooth optimization problems by using first-order information, similarly to the gradient descent method. We then consider an important class of composite optimization problems and show that the AG method can solve them uniformly, i.e., by using the same aggressive stepsize policy as in the convex case, even if the problem turns out to be nonconvex. We demonstrate that the AG method exhibits an optimal rate of convergence if the composite problem is convex, and improves the best known rate of convergence if the problem is nonconvex. Based on the AG method, we also present new nonconvex stochastic approximation methods and show that they can improve a few existing rates of convergence for nonconvex stochastic optimization. To the best of our knowledge, this is the first time that the convergence of the AG method has been established for solving nonconvex nonlinear programming in the literature.

연구 동기 및 목표

• 네스테로프의 가속화된 경사하강 방법을 볼록 최적화를 초월해 비볼록 및 확률적 환경으로 확장한다.
• 적절한 스텝사이즈 정책을 사용하여 비볼록 부드러운 최적화 문제에서 AG 방법의 수렴성과 수렴 속도를 확립한다.
• 같은 공격적인 스텝사이즈 정책을 사용하여 볼록 또는 비볼록 여부에 관계없이 복합 최적화 문제를 통합적으로 다룬다.
• 비볼록 확률적 프로그래밍에 대해 기존 수렴 속도를 향상시키는 랜덤화된 확률적 AG 방법을 개발한다.
• 비볼록 환경에서 AG의 이론적 수렴 보장이 부족했던 문제를 해결한다. 이는 오랫동안 미해결 문제였다.

제안 방법

• 비볼록 부드러운 문제에 특화된 특정 스텝사이즈 정책을 적용한 수정된 AG 방법을 제안하여 정류점으로의 수렴을 보장한다.
• 비볼록 및 확률적 환경에 적합한 다단계 가속화 기법을 도입하며, 운동량 유사 업데이트를 활용한다.
• 함수 값과 기울기를 노이즈 있는 평가를 통해 접근하는 확률적 오рак루(SO) 모델을 사용하며, 표본 수를 반복에 따라 조절하는 규칙을 적용한다.
• 확률적 분석과 마르코프 부등식을 사용하여 기울기 노름의 기대값을 유한하게 제한함으로써, SO 호출 수에 기반한 복잡도 한계를 유도한다.
• 확률적 환경에서 confidence 수준 Λ에 대한 의존도를 향상시키기 위해 이중 단계 방법을 설계하여 해의 안정성을 높인다.
• 복합 문제(부드러운 + 비부드러운 성분)에 대해 통일된 스텝사이즈 정책을 사용하여, 볼록성 여부에 관계없이 수렴성을 유지한다.

실험 결과

연구 질문

• RQ1 가속화된 경사하강 방법은 비볼록 부드러운 최적화 문제로 일반화될 수 있으며, 이 경우 수렴성과 최적 수렴 속도를 유지할 수 있는가?
• RQ2 복합 최적화 문제(비볼록)에 적용할 때 AG 방법이 수렴 성질과 속도 향상을 유지하는가?
• RQ3 비볼록 확률적 프로그래밍에서 기존 방법보다 더 나은 수렴 속도를 달성할 수 있는 AG 방법의 확률적 변형이 존재하는가?
• RQ4 단일 공격적인 스텝사이즈 정책을 사용하여 볼록 및 비볼록 문제의 분석을 통합할 수 있는가?
• RQ5 비볼록 확률적 최적화에서 ε-정류점을 찾는 데 필요한 최적의 복잡도 한계(스토캐스틱 오라클 호출 수 기준)는 무엇인가?

주요 결과

• 비볼록 부드러운 최적화 문제에서 ε-정류점을 찾는 데 AG 방법은 O(1/ε^{1/3})의 반복 복잡도를 달성하며, 이는 기존에 알려진 경사하강법의 최고 수준의 속도와 일치한다.
• 복합 비볼록 문제에 대해 AG 방법은 기존 방법보다 더 나은 수렴 속도를 달성하며, 문제의 비볼록성에도 불구하고 성능 향상을 보인다.
• 복합 문제의 볼록성이 확보될 경우 AG 방법은 최적 수렴 속도를 보이며, 동일한 공격적인 스텝사이즈 정책을 유지함으로써 수렴성을 유지한다.
• 랜덤화된 확률적 AG 방법은 ε-정류점을 찾기 위해 총 O((L_Ψ²(‖x₀−x*‖²+D̃²)/ε)^{1/3} + (L_f L_Ψ(M²+‖x*‖²+D̃²)/ε) + (L_Ψ^{1/2}(‖x₀−x*‖²+D̃²)σ³/(L_f^{3/2}D̃³ε))^{2/3} + (L_f L_Ψ(M²+‖x*‖²+D̃²)²σ²/(D̃²ε²)))회의 스토캐스틱 오라클 호출을 갖는다.
• L_f = 0일 경우(즉, 부드러운 볼록 확률적 문제의 경우), 복잡도 한계는 기존 문헌에서 알려진 최적의 복잡도 한계와 일치하여 최적성을 입증한다.