[논문 리뷰] A Sufficient Condition for Convergences of Adam and RMSProp

Fangyu Zou, Li Shen외 3명|arXiv (Cornell University)|2018. 11. 23.

Stochastic Gradient Optimization Techniques참고 문헌 22인용 수 28

한 줄 요약

이 논문은 기반 학습률과 이력 제2차 모멘텀 조합에만 의존하는, 비볼록 스토하스틱 최적화에서 Adam과 RMSProp의 전역 수렴을 위한 새로운이고 검증하기 쉬운 충분조건을 제안한다. 이 조건은 학습률 감소나 배치 크기 조정 없이도 수렴을 보장하며, Adam을 지수 이동 평균 운동량을 가진 가중치 AdaGrad로 재해석함으로써 발산 원인을 새롭게 설명한다.

ABSTRACT

Adam and RMSProp are two of the most influential adaptive stochastic algorithms for training deep neural networks, which have been pointed out to be divergent even in the convex setting via a few simple counterexamples. Many attempts, such as decreasing an adaptive learning rate, adopting a big batch size, incorporating a temporal decorrelation technique, seeking an analogous surrogate, etc., have been tried to promote Adam/RMSProp-type algorithms to converge. In contrast with existing approaches, we introduce an alternative easy-to-check sufficient condition, which merely depends on the parameters of the base learning rate and combinations of historical second-order moments, to guarantee the global convergence of generic Adam/RMSProp for solving large-scale non-convex stochastic optimization. Moreover, we show that the convergences of several variants of Adam, such as AdamNC, AdaEMA, etc., can be directly implied via the proposed sufficient condition in the non-convex setting. In addition, we illustrate that Adam is essentially a specifically weighted AdaGrad with exponential moving average momentum, which provides a novel perspective for understanding Adam and RMSProp. This observation coupled with this sufficient condition gives much deeper interpretations on their divergences. At last, we validate the sufficient condition by applying Adam and RMSProp to tackle a certain counterexample and train deep neural networks. Numerical results are exactly in accord with our theoretical analysis.

연구 동기 및 목표

• 기본적으로는 경험적으로 성공함에도 불구하고 비볼록 환경에서 Adam과 RMSProp의 알려진 발산 문제를 해결하기 위해.
• 학습률 감소나 배치 크기 조정 없이도 전역 수렴을 보장하는 단순하고 검증 가능한 조건을 규명하기 위해.
• 다양한 Adam/RMSProp 변형의 수렴 행동을 통합하고 설명하기 위한 공통 이론적 프레임워크를 제공하기 위해.
• Adam과 RMSProp이 발산할 수 있는 이유를 다시 해석함으로써 깊이 있는 통찰을 제공하기 위해, 특히 지수 이동 평균 운동량을 가진 가중치 AdaGrad로 재해석함으로써.

제안 방법

• 기반 학습률과 Adam/RMSProp 내 이력 제2차 모멘텀 조합에만 의존하는 충분 수렴 조건을 제안한다.
• Adam을 특정 가중치 AdaGrad로 재해석함으로써, 그 역학에 대한 새로운 시각을 제공한다.
• 충분 조건을 적용하여 비볼록 스토하스틱 설정에서 AdamNC 및 AdaEMA와 같은 여러 Adam 변형의 수렴을 증명한다.
• 다양한 파라미터 설정 하에서 일반적인 Adam 알고리즘의 비점근 수렴 속도를 유도하며, 파라미터 지수에 따라 O(log(T)/√T), O(1/T^{1-s}), 및 O(T^{-r/2})의 속도를 보여준다.
• 역사적 반례와 딥 러닝 작업(MNIST, CIFAR-100)에서 이론적 결과를 수치적으로 검증하여 이론적 예측과 일치함을 보였다.

실험 결과

연구 질문

• RQ1 비볼록 스토하스틱 최적화에서 Adam과 RMSProp의 전역 수렴을 보장하는 충분 조건은 무엇인가?
• RQ2 왜 Adam과 RMSProp은 때로 발산하는가, 그리고 이에 배경이 되는 메커니즘은 무엇인가?
• RQ3 여러 Adam 유형의 변형 수렴을 하나의 이론적 조건으로 통합할 수 있는가?
• RQ4 Adam을 지수 이동 평균 운동량을 가진 가중치 AdaGrad로 재해석함으로써, 그 수렴 또는 발산을 어떻게 설명할 수 있는가?
• RQ5 제안된 조건 하에서 다양한 파라미터 설정에 대해 도출할 수 있는 비점근 수렴 속도는 무엇인가?

주요 결과

• 제안된 충분 조건은 기반 학습률과 이력 제2차 모멘텀 조합에만 의존하여 비볼록 스토하스틱 최적화에서 일반적인 Adam과 RMSProp의 전역 수렴을 보장한다.
• 이 조건은 학습률과 운동량 업데이트 간의 균형이 깨질 경우, 특히 역학적 학습률의 차이가 비음수가 되는 경우에 발생하는 발산 원인을 설명한다.
• AdamNC, AdaEMA 및 기타 변형의 수렴은 제안된 조건에 의해 직접적으로 유도되며, 이는 통합된 이론적 기반을 제공한다.
• 역사적 반례와 딥 네트워크(Lenet on MNIST, ResNet-18 on CIFAR-100)에서의 수치 실험을 통해 실제 학습 행동이 이론적 수렴 속도와 일치함을 확인하였다.
• 기본 학습률이 α_t = η/√t이고 가중치가 t^r의 비율로 증가할 때, 일반적인 Adam의 수렴 속도는 r ≥ 0일 경우 O(log(T)/√T)임을 입증하였으며, r가 클수록 수렴 속도가 빨라진다.
• 논문은 Adam이 본질적으로 지수 이동 평균 운동량을 가진 가중치 AdaGrad임을 규명하였으며, 이는 수렴 행동과 실패 모드를 명확히 설명하는 새로운 해석을 제공한다.