[논문 리뷰] Escaping Saddle Points Faster with Stochastic Momentum

Jun-Kun Wang, Chi-Heng Lin외 1명|arXiv (Cornell University)|2021. 06. 05.

Stochastic Gradient Optimization Techniques참고 문헌 57인용 수 7

한 줄 요약

이 논문은 비볼록 최적화에서 확률적 모멘텀의 이론적 근거를 처음으로 제시하며, 음의 곡률 방향을 증폭시켜 안정점에서의 탈출을 가속화함을 보여준다. 확률적 헤비볼 모멘텀이 표준 SGD보다 두 번째 순서 정상점으로 수렴하는 데 더 빠르며, 모멘텀 파라미터 β가 1에 가까울 때 최적의 성능을 발휘함을 증명한다.

ABSTRACT

Stochastic gradient descent (SGD) with stochastic momentum is popular in nonconvex stochastic optimization and particularly for the training of deep neural networks. In standard SGD, parameters are updated by improving along the path of the gradient at the current iterate on a batch of examples, where the addition of a ``momentum'' term biases the update in the direction of the previous change in parameters. In non-stochastic convex optimization one can show that a momentum adjustment provably reduces convergence time in many settings, yet such results have been elusive in the stochastic and non-convex settings. At the same time, a widely-observed empirical phenomenon is that in training deep networks stochastic momentum appears to significantly improve convergence time, variants of it have flourished in the development of other popular update methods, e.g. ADAM [KB15], AMSGrad [RKK18], etc. Yet theoretical justification for the use of stochastic momentum has remained a significant open question. In this paper we propose an answer: stochastic momentum improves deep network training because it modifies SGD to escape saddle points faster and, consequently, to more quickly find a second order stationary point. Our theoretical results also shed light on the related question of how to choose the ideal momentum parameter--our analysis suggests that $β\in [0,1)$ should be large (close to 1), which comports with empirical findings. We also provide experimental findings that further validate these conclusions.

연구 동기 및 목표

• 비볼록 확률적 설정에서의 이론적 근거가 부족한 바에 불구하고 딥러닝에서 수렴 속도 향상에 기여하는 이유를 이론적으로 설명하는 것.
• 표준 SGD보다 안정점에서의 탈출 속도를 빠르게 하는 조건을 설정하는 것.
• 실무에서 모멘텀 파라미터 β를 설정하기 위한 이론적 지침을 도출하는 것.
• 음의 곡률 성분을 증폭시킴으로써 확률적 모멘텀이 두 번째 순서 정상점으로 더 빨리 도달하는 데 기여함을 보여주는 것.

제안 방법

• 헤시안과 기울기 행동에 대한 약한 가정 하에 비볼록 최적화에 대한 확률적 헤비볼 모멘텀의 이론적 분석을 제안한다.
• 과거의 확률적 기울기들의 가중 평균으로 구성된 동적 업데이트 규칙을 도입하여, 업데이트를 음의 곡률 방향으로 편향시킨다.
• 시간 평균 분석을 통해 안정점에서 음의 곡률 방향과 일치하는 성분이 모멘텀에 의해 증폭됨을 보여주며, 이는 더 빠른 탈출을 가능하게 한다.
• 이중 단계 분석을 활용: 먼저 음의 곡률을 이용해 안정점에서 탈출하고, 그 후 유한한 헤시안과 기울기 분산 조건 하에서 두 번째 순서 정상점으로 수렴한다.
• 반복 복잡도 관점에서 수렴 속도를 유도하며, β, 기울기 분산 σ², 문제 조건 수치에 대한 의존성을 보여준다.
• 이전 연구(예: Daneshmand 등, 2018)와 이론적 경계를 비교하여, 모멘텀과 문제 파라미터에 대한 더 나은 의존성을 보여준다.

실험 결과

연구 질문

• RQ1 비볼록 확률적 설정에서 이론적 근거가 부족한 바에 불구하고 확률적 모멘텀이 딥러닝에서 수렴 속도를 크게 향상시키는 이유는 무엇인가?
• RQ2 비볼록 확률적 최적화에서 확률적 모멘텀은 안정점에서 어떻게 탈출을 가속화하는가?
• RQ3 두 번째 순서 정상점으로의 수렴 속도를 빠르게 하기 위한 모멘텀 파라미터 β의 최적 값은 무엇인가?
• RQ4 비볼록 설정에서 표준 SGD를 초월해 확률적 모멘텀이 수렴 속도 향상에 이론적으로 기여할 수 있는가?
• RQ5 모멘텀 메커니즘이 음의 곡률 방향과 어떻게 상호작용하여 안정점에서의 더 빠른 탈출을 가능하게 하는가?

주요 결과

• 확률적 모멘텀은 음의 곡률 방향 성분을 증폭시킴으로써 안정점에서의 탈출 속도를 빠르게 하며, 이는 비최적성에서의 탈출에 핵심적이다.
• 이론적 분석을 통해 (ε, ε)-두 번째 순서 정상점에 도달하는 반복 복잡도는 O((1−β)⁻¹ log(1/ε) ε⁻¹⁰)임을 보여주며, 이는 β가 클수록 더 빠른 수렴을 의미한다.
• 최적의 모멘텀 파라미터 β는 1에 가까워야 하며, 이는 실증 결과와 일치하며 Adam 및 기타 적응형 방법의 성공을 설명한다.
• 고모멘텀 영역에서 제안된 방법은 이전 연구(예: Daneshmand 등, 2018)보다 반복 복잡도 측면에서 뛰어나며, 특히 (1−β)가 작을 경우 두드러진다.
• 기울기 분산 σ²과 헤시안 조건 수치에 대한 의존성이 향상되었으며, β→1일 때 더 견고한 경계를 확보한다.
• 실험 결과는 이론적 주장의 타당성을 검증하며, 실질적으로 더 빠른 수렴과 향상된 안정점 탈출 성능을 보여준다.