[논문 리뷰] FastAdaBelief: Improving Convergence Rate for Belief-based Adaptive Optimizers by Exploiting Strong Convexity

Yangfan Zhou, Kaizhu Huang외 4명|arXiv (Cornell University)|2021. 04. 28.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 16

한 줄 요약

이 논문은 강한 볼록성에 기반한 맞춤형 학습률과 곡률 인식 모멘텀을 통해 강한 볼록성과 비볼록 설정에서 수렴 속도를 향상시키는 새로운 적응형 최적화 알고리즘인 FastAdaBelief을 제안한다. 데이터에 의존하는 O(log T)의 손실 한계를 달성하며, 이는 AdaBelief의 O(√T)보다 훨씬 빠르며, 일반화 성능을 유지하면서도 이미지 분류 및 언어 모델링 벤치마크에서 모든 주요 최적화 알고리즘보다 학습 속도와 테스트 정확도에서 뛰어나다.

ABSTRACT

AdaBelief, one of the current best optimizers, demonstrates superior generalization ability compared to the popular Adam algorithm by viewing the exponential moving average of observed gradients. AdaBelief is theoretically appealing in that it has a data-dependent $O(\sqrt{T})$ regret bound when objective functions are convex, where $T$ is a time horizon. It remains however an open problem whether the convergence rate can be further improved without sacrificing its generalization ability. %on how to exploit strong convexity to further improve the convergence rate of AdaBelief. To this end, we make a first attempt in this work and design a novel optimization algorithm called FastAdaBelief that aims to exploit its strong convexity in order to achieve an even faster convergence rate. In particular, by adjusting the step size that better considers strong convexity and prevents fluctuation, our proposed FastAdaBelief demonstrates excellent generalization ability as well as superior convergence. As an important theoretical contribution, we prove that FastAdaBelief attains a data-dependant $O(\log T)$ regret bound, which is substantially lower than AdaBelief. On the empirical side, we validate our theoretical analysis with extensive experiments in both scenarios of strong and non-strong convexity on three popular baseline models. Experimental results are very encouraging: FastAdaBelief converges the quickest in comparison to all mainstream algorithms while maintaining an excellent generalization ability, in cases of both strong or non-strong convexity. FastAdaBelief is thus posited as a new benchmark model for the research community.

연구 동기 및 목표

• AdaBelief의 수렴 속도를 강한 볼록 설정에서 일반화 성능을 훼손하지 않고 더 향상시킬 수 있는지에 대한 열린 문제를 해결하기 위해.
• 기존의 믿음 기반 적응형 방법보다 더 빠른 수렴을 달성하기 위해 강한 볼록성을 활용하는 적응형 최적화 알고리즘을 설계하기 위해.
• 강한 볼록성 하에서 제안된 알고리즘의 더 낫지 않은 손실 한계를 이론적으로 증명하기 위해.
• FastAdaBelief의 우수성을 강한 볼록성 및 비볼록 딥 러닝 시나리오에서 경험적으로 검증하기 위해.

제안 방법

• 강한 볼록성을 명시적으로 고려하는 수정된 학습률을 도입하여 진동을 줄이고 수렴 속도를 가속화한다.
• AdaBelief의 2차 모멘텀을 기울기의 헤시안 유사 구조를 반영하는 곡률 인식 대각 행렬로 대체한다.
• 모멘텀 업데이트에 감쇠 인자 δ/t를 적용하여 이상적인 학습률에 더 가까이 근사하고 학습을 안정화시킨다.
• 강한 볼록 함수에 대해 O(log T)의 새로운 데이터에 의존하는 손실 한계를 유도하며, AdaBelief의 O(√T)보다 향상시킨다.
• 기울기의 믿음과 강한 볼록성 정보를 융합하는 새로운 적응형 학습률 메커니즘을 설계하여 수렴과 일반화의 균형을 이룬다.
• CNN과 LSTMs를 사용하여 표준 딥 러닝 작업에 알고리즘을 적용하고, 다양한 데이터셋에서 광범위한 추론 및 비교를 수행한다.

실험 결과

연구 질문

• RQ1 AdaBelief의 수렴 속도를 강한 볼록 최적화에서 일반화 성능을 떨어뜨리지 않고 향상시킬 수 있는가?
• RQ2 강한 볼록성을 명시적으로 활용하는 적응형 최적화 알고리즘의 이론적 손실 한계는 무엇인가?
• RQ3 FastAdaBelief는 SAdam 및 기타 Adam 변종과 비교해 수렴 속도와 테스트 성능에서 어떻게 다른가?
• RQ4 제안된 알고리즘은 비볼록 딥 러닝 설정에서도 빠른 수렴을 유지하는가?

주요 결과

• FastAdaBelief는 강한 볼록 설정에서 데이터에 의존하는 손실 한계 O(log T)를 달성하며, 이는 AdaBelief의 O(√T)보다 훨씬 날카롭다.
• CIFAR-10에서 FastAdaBelief는 모든 기준 모델보다 빠르게 수렴하여 200 에포크 후 최고의 테스트 정확도(96.0%)와 최저 손실(0.15)을 기록했다.
• Penn Treebank에서의 언어 모델링 실험에서 FastAdaBelief는 3층 LSTM에서 퍼플렉서티 61.21을 기록하여 Adam(64.71)과 AdaBelief(61.23)를 모두 앞섰다.
• SVHN과 CIFAR-100에서 FastAdaBelief는 모든 실험에서 가장 빠른 수렴 속도를 보였으며, 모든 반복 단계에서 최저의 훈련 손실을 기록했다.
• 더 빠른 수렴에도 불구하고 FastAdaBelief는 뛰어난 일반화 성능을 유지하여 테스트 정확도에서 SGD 및 AdaBelief와 동등하거나 이를 초월했다.
• 이 알고리즘은 다양한 아키텍처(DenseNet-121, ResNet-34, VGG-11)와 작업에서 뛰어난 견고성을 보이며 새로운 벤치마크 최적화 알고리즘이 되었다.