[논문 리뷰] On the Convergence of Adam and Beyond

Sashank J. Reddi, Satyen Kale외 1명|arXiv (Cornell University)|2019. 04. 19.

Theology and Philosophy of Evil인용 수 1,613

한 줄 요약

이 논문은 Adam 및 유사한 지수이동평균 방법들이 단기 기억으로 인해 수렴하지 못할 수 있음을 보이고, 볼록 예제(counterexample)를 제시하며, 수렴 보장을 갖는 AMSGrad 변형들을 제안한다.

ABSTRACT

Several recently proposed stochastic optimization methods that have been successfully used in training deep networks such as RMSProp, Adam, Adadelta, Nadam are based on using gradient updates scaled by square roots of exponential moving averages of squared past gradients. In many applications, e.g. learning with large output spaces, it has been empirically observed that these algorithms fail to converge to an optimal solution (or a critical point in nonconvex settings). We show that one cause for such failures is the exponential moving average used in the algorithms. We provide an explicit example of a simple convex optimization setting where Adam does not converge to the optimal solution, and describe the precise problems with the previous analysis of Adam algorithm. Our analysis suggests that the convergence issues can be fixed by endowing such algorithms with `long-term memory' of past gradients, and propose new variants of the Adam algorithm which not only fix the convergence issues but often also lead to improved empirical performance.

연구 동기 및 목표

• 동기: 깊은 신경망 학습에서 Adam 유사 적응 방법으로 관찰된 비수렴 문제를 해결한다.
• 목표: 지수이동평균과 관련된 수렴 실패의 원인을 규명한다.
• 목적: 볼록 설정에서 수렴을 보장하는 과거 기울기에 대한 장기 기억을 갖는 알고리즘을 제안한다.

제안 방법

• 프레임워크는 온라인 볼록 최적화와 확률적 ERM을 연결하여 적응 방법들을 연구한다.
• 지수이동평균(Adam/RMSprop)이 Gamma_t 양을 통해 비수렴을 초래할 수 있는지 분석한다.
• Adam이 비제로 평균 후회를 가질 수 있음을 보이는 볼록 카운터예를 구성한다.
• 학습률이 비증가하도록 v_t의 연속적인 최대치를 유지하는 AMSGrad를 제안한다.
• 볼록성 및 경계 기울기 가정 하에서 AMSGrad의 수렴 분석.
• 합성 데이터와 표준 ML 작업에서 성능 차이를 보여주는 실험적 평가.

실험 결과

연구 질문

• RQ1 단순한 볼록 설정에서 Adam과 RMSprop가 최적 해로 수렴하는가?
• RQ2 지수이동평균이 적응 방법의 수렴에 어떤 영향을 미치는가?
• RQ3 AMSGrad와 같은 변형이 실용적 성능을 보존하면서 수렴을 보장할 수 있는가?
• RQ4 볼록 설정에서 AMSGrad의 이론적 후회 경계는 Adam과 비교해 어떻게 되는가?
• RQ5 표준 ML 작업에서 경험적 결과가 이론적 결과와 일치하는가?

주요 결과

• 온라인 볼록 최적화 설정에서 Adam은 평균 후회가 0이 아닐 수 있다.
• beta1, beta2가 상수일 때 beta1 < sqrt(beta2) 조건을 만족하면 Adam은 볼록 문제에서 근사 최적이 아닌 점으로 수렴할 수 있다.
• AMSGrad를 통해 장기 기억 메커니즘을 도입하면 학습률이 비증가하고 수렴 보장을 얻는다.
• AMSGrad는 특정 데이터 구간에서 O(sqrt(dT))보다 나은 후회 경계를 제공한다.
• 실험 결과는 AMSGrad가 MNIST 로지스틱 회귀와 CIFAR-10 CNN에서 수렴성과 견고성 측면에서 Adam보다 우수함을 보여준다.