[논문 리뷰] Adaptive Gradient Methods with Dynamic Bound of Learning Rate

Liangchen Luo, Yuanhao Xiong외 2명|arXiv (Cornell University)|2019. 02. 26.

Stochastic Gradient Optimization Techniques인용 수 189

한 줄 요약

이 논문은 AdaBound와 AMSBound를 제시한다. 이는 Adam/AMSGrad의 동적-경계 변형으로서 초기에는 적응적 최적화기를 사용하고 점차 SGD로 전환하며, 수렴 보장과 다양한 작업에서의 일반화 개선을 보여준다.

ABSTRACT

Adaptive optimization methods such as AdaGrad, RMSprop and Adam have been proposed to achieve a rapid training process with an element-wise scaling term on learning rates. Though prevailing, they are observed to generalize poorly compared with SGD or even fail to converge due to unstable and extreme learning rates. Recent work has put forward some algorithms such as AMSGrad to tackle this issue but they failed to achieve considerable improvement over existing methods. In our paper, we demonstrate that extreme learning rates can lead to poor performance. We provide new variants of Adam and AMSGrad, called AdaBound and AMSBound respectively, which employ dynamic bounds on learning rates to achieve a gradual and smooth transition from adaptive methods to SGD and give a theoretical proof of convergence. We further conduct experiments on various popular tasks and models, which is often insufficient in previous work. Experimental results show that new variants can eliminate the generalization gap between adaptive methods and SGD and maintain higher learning speed early in training at the same time. Moreover, they can bring significant improvement over their prototypes, especially on complex deep networks. The implementation of the algorithm can be found at https://github.com/Luolc/AdaBound .

연구 동기 및 목표

• Adam/AMSGrad와 같은 적응형 최적화기의 일반화 및 수렴에 대한 한계 점진적 인식.
• 적응적 동작에서 시간이 지남에 따라 SGD로의 전환을 만드는 학습률 경계 메커니즘 제안.
• 새로운 방법에 대한 볼록성 설정에서의 이론적 수렴 보장을 제공.
• 다양한 아키텍처를 활용한 컴퓨터 비전 및 자연어 처리 Tasks에서의 실험적 이점 증명.

제안 방법

• 시간에 따라 수렴하는 최종 스텝 크기에 맞게 매-파라미터 학습률을 클리핑하는 AdaBound를 형식화.
• Adam/AMSGrad에서 SGD(M)로의 점진적 변환을 만들기 위해 eta_l(t)와 eta_u(t)를 정의.
• 볼록 가정하에서 AdaBound(및 AMSBound)의 후회 경계 및 수렴 특성을 증명.
• MNIST, CIFAR-10, Penn Treebank에서 AdaBound/AMSBound를 Sgd(M), AdaGrad, Adam, AMSGrad와 비교 실험.
• 구현 세부사항 및 하이퍼파라미터 선택 및 경계 스케줄에 대해 논의.

실험 결과

연구 질문

• RQ1 동적 경계 학습률 스케줄이 극단적인 업데이트를 방지하고 적응형 최적화기의 일반화를 개선할 수 있는가?
• RQ2 AdaBound와 AMSBound가 빠른 초기 수렴을 유지하면서 SGD와 같은 일반화를 달성하는가?
• RQ3 볼록 설정에서 이러한 경계 기반 적응 방법의 이론적 보장(수렴/후회)은 무엇인가?
• RQ4 제안된 방법이 다양한 아키텍처와 작업(비전 및 NLP)에서 기준 최적화기와 비교해 어떤 성능을 보이는가?
• RQ5 광범위한 하이퍼파라미터 튜닝 없이도 잘 작동하는 실용적이고 조정 가능한 경계 스케줄이 있는가?

주요 결과

• AdaBound/AMSBound는 적응적 방법과 유사한 빠른 초기 학습을 달성하고 SGD/M과 비교해 강한 일반화로 수렴한다.
• 동적 경계는 적응적 동작에서 SGD로의 원활한 전환을 보장하고 극단적 학습률로 인한 문제를 완화한다.
• 이론적 분석은 볼록성 하에서 O(sqrt(T))의 후회 경계 및 수렴 보장을 제공한다.
• MNIST, CIFAR-10, Penn Treebank에서의 실험은 Adam/AMSGrad보다 더 나은 테스트 정확도 및 perplexity를 보여주고 SGD(M)와의 경쟁력 있는 결과를 제공한다.
• 복잡한 모델(DenseNet, ResNet, 다층 LSTM)은 더 큰 이익을 보이며, 더 깊은 네트워크 구조에서의 이점이 두드러진다.