[논문 리뷰] Sharp Analysis for Nonconvex SGD Escaping from Saddle Points

Cong Fang, Zhouchen Lin외 1명|arXiv (Cornell University)|2019. 02. 01.

Stochastic Gradient Optimization Techniques참고 문헌 50인용 수 18

한 줄 요약

이 논문은 비볼록 최적화에서 확률적 경사하강법(SGD)에 대한 날카운 분석을 제공하며, SGD가 안정점에서 효율적으로 탈출하고 $\tilde{\mathcal{O}}(\epsilon^{-3.5})$개의 확률적 경사하강 계산을 통해 $(\epsilon, \mathcal{O}(\epsilon^{0.5}))$-근사 제2차 정류점에 도달함을 증명한다. 이 결과는 경사의 리프시츠 조건, 헤시안의 리프시츠 조건, 산란된 노이즈 조건 하에서 고전적 $\mathcal{O}(\epsilon^{-4})$ bound를 향상시킨다.

ABSTRACT

In this paper, we give a sharp analysis for Stochastic Gradient Descent (SGD) and prove that SGD is able to efficiently escape from saddle points and find an $(ε, O(ε^{0.5}))$-approximate second-order stationary point in $ ilde{O}(ε^{-3.5})$ stochastic gradient computations for generic nonconvex optimization problems, when the objective function satisfies gradient-Lipschitz, Hessian-Lipschitz, and dispersive noise assumptions. This result subverts the classical belief that SGD requires at least $O(ε^{-4})$ stochastic gradient computations for obtaining an $(ε,O(ε^{0.5}))$-approximate second-order stationary point. Such SGD rate matches, up to a polylogarithmic factor of problem-dependent parameters, the rate of most accelerated nonconvex stochastic optimization algorithms that adopt additional techniques, such as Nesterov's momentum acceleration, negative curvature search, as well as quadratic and cubic regularization tricks. Our novel analysis gives new insights into nonconvex SGD and can be potentially generalized to a broad class of stochastic optimization algorithms.

연구 동기 및 목표

• 비볼록 최적화에서 SGD의 보다 정교한 이론적 분석을 제공함으로써, 특히 안정점에서의 탈출 능력에 초점을 맞추는 것.
• 기본 SGD의 이론적 수렴 속도와 모멘텀, 부가 기법을 사용하는 가속된 비볼록 확률적 알고리즘 간의 격차를 메우는 것.
• 모멘텀, 정규화 또는 음의 곡률 탐색을 요구하지 않고도 SGD가 제2차 정류점에 대해 거의 최적의 속도를 달성할 수 있음을 입증하는 것.
• 산란된 노이즈의 개념을 정식화하고 이를 활용하여 안정점에서의 효율적 탈출을 보장하는 것.

제안 방법

• 비볼록 최적화에서 일반적인 조건인 목적함수의 경사 리프시츠 연속성과 헤시안 리프시츠 연속성을 가정한다.
• 특정 방향 $\mathbf{v}$에 대해 $(q^*, \mathbf{v})$-좁은 성질을 만족하는 노이즈, 즉 산란된 노이즈의 개념을 도입하고 이를 활용하여 확률적 경사 방향이 충분히 다양하다는 것을 보장한다.
• 측도 이론적 접근을 사용하여 안정점 주변의 좁은 영역에 확률적 경사 방향이 위치할 확률을 바ounds하는 증명을 한다. 이는 가우시안 및 균일 노이즈 분포에 대한 분석에 기반한다.
• 산란된 노이즈 조건 하에서 안정점 주변에 머무를 확률이 1/4 이하로 제한됨을 입증함으로써 효율적 탈출이 가능함을 보여준다.
• 집중 부등식과 기하 확률 이론을 조합하여 향상된 수렴 속도를 유도한다.
• Nesterov의 모멘텀이나 정규화와 같은 보조 기법을 피하고, 오직 SGD의 내재된 노이즈 구조에 의존한다.

실험 결과

연구 질문

• RQ1 기본 SGD는 추가 알고리즘 수정 없이 비볼록 최적화에서 안정점에서 탈출할 수 있는가?
• RQ2 확률적 경사하강 계산 수에 따라 제2차 정류점에 도달하는 데 있어 SGD의 최적 수렴 속도는 무엇인가?
• RQ3 산란된 노이즈는 SGD에서 안정점에서의 탈출 역학에 어떤 영향을 미치는가?
• RQ4 SGD의 수렴 속도는 모멘텀 또는 정규화를 사용하는 가속 알고리즘과 동일한가?
• RQ5 안정점에서의 효율적 탈출를 위해 목적함수와 노이즈 분포에 대해 필요한 최소한의 가정은 무엇인가?

주요 결과

• SGD는 $(\epsilon, \mathcal{O}(\epsilon^{0.5}))$-근사 제2차 정류점에 도달하기 위해 $\tilde{\mathcal{O}}(\epsilon^{-3.5})$개의 확률적 경사하강 계산을 필요로 한다.
• 이 속도는 동일한 가정 하에서 고전적 $\mathcal{O}(\epsilon^{-4})$ bound를 향상시킨다.
• 이 결과는 다항로그 인자 수준에서, 모멘텀, 음의 곡률 탐색 또는 정규화를 사용하는 가속된 비볼록 확률적 알고리즘의 최고 수준의 수렴 속도와 일치한다.
• 분석을 통해 가우시안 또는 단위 구 위의 균일 노이즈와 같은 산란된 노이즈가 안정점에서의 효율적 탈출을 보장하는 데 필요한 확률적 조건을 만족함을 입증한다.
• 이 방법은 인위적 노이즈 주입 없이도, 기본 SGD가 내재된 노이즈를 활용하여 미세한 정규성 조건 하에서 안정점에서 효율적으로 탈출할 수 있음을 증명한다.
• 이론적 프레임워크는 일반적이며, 광범위한 확률적 최적화 알고리즘의 분석으로 확장될 수 있다.