[논문 리뷰] Stochastic optimization with momentum: convergence, fluctuations, and traps avoidance

Anas Barakat, Pascal Bianchi외 2명|arXiv (Cornell University)|2020. 12. 07.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 10

한 줄 요약

이 논문은 S-NAG와 Adam과 같은 모멘텀 기반 확률적 최적화 알고리즘을 비자율 미분방정식(non-autonomous ODE)의 노이즈가 있는 오일러 이산화로 모델링하여 통합한다. 비볼록 설정에서 임의의 점근적 수렴을 증명하고, 수렴 속도에 대한 중심극한정리(central limit theorem)를 제시하며, 약간의 노이즈 조건 하에 국소 최대값과 안장점에서의 거의 확실한 피 avoidance 를 증명한다. 이는 새로운 비자율 Poincaré 유형의 불변다양체 정리(non-autonomous Poincaré-type invariant manifold theorem)를 활용한다.

ABSTRACT

In this paper, a general stochastic optimization procedure is studied, unifying several variants of the stochastic gradient descent such as, among others, the stochastic heavy ball method, the Stochastic Nesterov Accelerated Gradient algorithm (S-NAG), and the widely used Adam algorithm. The algorithm is seen as a noisy Euler discretization of a non-autonomous ordinary differential equation, recently introduced by Belotto da Silva and Gazeau, which is analyzed in depth. Assuming that the objective function is non-convex and differentiable, the stability and the almost sure convergence of the iterates to the set of critical points are established. A noteworthy special case is the convergence proof of S-NAG in a non-convex setting. Under some assumptions, the convergence rate is provided under the form of a Central Limit Theorem. Finally, the non-convergence of the algorithm to undesired critical points, such as local maxima or saddle points, is established. Here, the main ingredient is a new avoidance of traps result for non-autonomous settings, which is of independent interest.

연구 동기 및 목표

• 비볼록 설정에서 S-NAG와 Adam과 같은 모멘텀 기반 확률적 최적화 알고리즘의 점근적 행동을 통합하고 분석하는 것.
• 반복값(iterates)이 목적함수의 임계점(set of critical points)으로 거의 확실하게 수렴함을 증명하는 것.
• 적절한 정규성 조건 하에서 중심극한정리(central limit theorem)를 통해 수렴 속도를 도출하는 것.
• 일반적인 노이즈 가정 하에 불리한 임계점(국소 최대값과 안장점)으로의 수렴을 거의 확실하게 피하는 것을 증명하는 것.
• 비자율 동역계 시스템에 적용 가능한, 함정 피 avoidance 를 위한 새로운 이론적 프레임워크를 개발하는 것.

제안 방법

• 최근 Belotto da Silva와 Gazeau에 의해 소개된 비자율 상미분방정식(non-autonomous ODE)의 노이즈가 있는 오일러 이산화로 모멘텀 기반 확률적 알고리즘을 모델링하는 것.
• 연속시간 ODE를 분석하여 목적함수의 임계점 집합으로의 해의 존재성, 유일성 및 수렴성을 확립하는 것.
• 비자율 Poincaré의 불변다양체 정리(non-autonomous version of Poincaré's invariant manifold theorem)를 사용하여 일반적인 노이즈 자극 하에서 함정(국소 최대값과 안장점)의 피 avoidance 를 증명하는 것.
• 스텝사이즈 수열과 노이즈 구조에 대한 가정 하에서 중심극한정리(central limit theorem)를 통해 수렴 속도를 확립하는 것.
• 특정 알고리즘(예: S-NAG, Adam)에 대한 일반 프레임워크 적용을 위해 기울기, 모멘텀, 학습률 업데이트에 대한 모델 특화 조건을 점검하는 것.
• 임계점에서 헤시안의 스펙트럼 분석과 노이즈 공분산 구조를 활용하여 불안정 방향에서의 비퇴화 확산(non-degenerate diffusion)을 보장하는 것.

실험 결과

연구 질문

• RQ1 비볼록 설정에서 모멘텀 기반 확률적 최적화 알고리즘의 수렴성과 안정성을 분석하기 위한 통합 이론적 프레임워크를 개발할 수 있는가?
• RQ2 비볼록 목적함수에서 Stochastic Nesterov Accelerated Gradient(S-NAG) 알고리즘이 거의 확실하게 임계점으로 수렴하는가?
• RQ3 모멘텀 기반 알고리즘이 비볼록 최적화에서 국소 최대값이나 안장점으로 수렴하는 것을 피하는 조건은 무엇인가?
• RQ4 일반적인 노이즈 및 스텝사이즈 가정 하에서 이러한 알고리즘의 수렴 속도를 중심극한정리로 특징지을 수 있는가?
• RQ5 자율적 동역계에서 함정 피 avoidance 결과를 비자율 동역계로 일반화할 수 있는가?

주요 결과

• 적당한 정규성 조건과 스텝사이즈 조건 하에서 일반 모멘텀 기반 확률적 알고리즘의 반복값이 목적함수의 임계점 집합으로 거의 확실하게 수렴한다.
• 이 논문은 비볼록 설정에서 Stochastic Nesterov Accelerated Gradient(S-NAG) 알고리즘에 대한 첫 번째 거의 확실한 수렴 결과를 제공한다.
• 추가 가정 하에 수렴 속도는 중심극한정리로 특징지어지며, 임계점 주위에서 반복값의 점근적 정규성을 보여준다.
• 음의 곡률 방향에서 노이즈가 충분히 자극적이라면 알고리즘이 국소 최대값과 안장점으로의 수렴을 거의 확실하게 피한다.
• 비자율 Poincaré의 불변다양체 정리의 새로운 형태를 개발하고 이를 활용하여 함정 피를 증명하였으며, 이는 별도의 이론적 관심을 끌 만하다.
• 기울기 노이즈와 학습률 동역학에 대한 요구 조건을 점검함으로써 이론적 프레임워크가 Adam 및 기타 적응형 알고리즘에 성공적으로 적용됨을 확인하였다.