[논문 리뷰] SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients

Feihu Huang, Junyi Li외 1명|arXiv (Cornell University)|2021. 06. 15.

Stochastic Gradient Optimization Techniques인용 수 8

한 줄 요약

이 논문은 민감도 높은 적응형 그래디언트 프레임워크인 SUPER-ADAM을 제안한다. 이는 탄력적인 적응형 행렬을 통해 기존의 적응형 방법들을 통합하고, 동적 모멘타임과 분산 감소 기법을 통합함으로써 보다 빠르고 안정적인 수렴을 달성한다. 비볼록 최적화 문제에서 최적의 $\tilde{O}(\tau^{-3})$ 스토하스틱 제1차 오ракูล 복잡도를 달성하며, 이는 이론적 하한선과 정확히 일치한다. 또한 딥러닝 벤치마크에서 일관된 성능 향상을 보이며, 기존 방법들을 능가한다.

ABSTRACT

Adaptive gradient methods have shown excellent performances for solving many machine learning problems. Although multiple adaptive gradient methods were recently studied, they mainly focus on either empirical or theoretical aspects and also only work for specific problems by using some specific adaptive learning rates. Thus, it is desired to design a universal framework for practical algorithms of adaptive gradients with theoretical guarantee to solve general problems. To fill this gap, we propose a faster and universal framework of adaptive gradients (i.e., SUPER-ADAM) by introducing a universal adaptive matrix that includes most existing adaptive gradient forms. Moreover, our framework can flexibly integrate the momentum and variance reduced techniques. In particular, our novel framework provides the convergence analysis support for adaptive gradient methods under the nonconvex setting. In theoretical analysis, we prove that our SUPER-ADAM algorithm can achieve the best known gradient (i.e., stochastic first-order oracle (SFO)) complexity of $ ilde{O}(ε^{-3})$ for finding an $ε$-stationary point of nonconvex optimization, which matches the lower bound for stochastic smooth nonconvex optimization. In numerical experiments, we employ various deep learning tasks to validate that our algorithm consistently outperforms the existing adaptive algorithms. Code is available at https://github.com/LIJUNYI95/SuperAdam

연구 동기 및 목표

• 다양한 기계학습 문제에 걸쳐 작동하는 통합적이고 이론적으로 탄탄한 적응형 그래디언트 프레임워크의 부족을 해결하기 위해.
• Adam, Adagrad, AdaGrad 등의 기존 적응형 그래디언트 방법들을 하나의 탄력적인 프레임워크로 통합하기 위해, 통합적 적응형 행렬을 도입하기 위해.
• 수렴성과 안정성을 향상시키기 위해 프레임워크 내부에 모멘타임과 분산 감소 기법을 통합하기 위해.
• 비볼록 설정 하에서 적응형 그래디언트 방법의 수렴 분석을 수립하고, 최적의 그래디언트 복잡도를 확보하기 위해.
• 이론적 분석 외에도 이미지 분류 및 언어 모델링 작업을 포함한 다양한 작업에서 제안된 프레임워크의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 기존의 대부분의 적응형 그래디언트 형태(예: Adam, Adagrad, AdaGrad 등)를 일반화하는 통합적 적응형 행렬 $H_t$를 도입하기 위해.
• 매개변수화된 감쇠 메커니즘을 통해 적응형 학습률과 모멘타임, 분산 감소를 통합하는 새로운 업데이트 규칙을 설계하기 위해.
• 탐색과 이용의 균형을 맞추기 위해 시간에 따라 변하는 학습률 $\alpha_t = c \mu_t^\tau$ 를 사용하며, $\mu_t = \frac{k}{(m+t)^{1/3}}$ 또는 $\frac{k}{(m+t)^{1/2}}$ 로 정의되며, 이는 $\tau \in \{0,1\}$ 에 따라 달라진다.
• 초기 반복 단계에서 발산을 방지하기 위해 클리핑 메커니즘 $\alpha_t = \min(\alpha_t, 0.9)$ 을 적용하기 위해.
• 적응형 행렬 $H_t$ 를 제1차(기울기) 및 제2차(분산) 정보와 통합하여 학습을 안정화하기 위해.
• 비볼록 설정 하에서 이론적 수렴 분석을 제공하며, $\tau=1$ 인 경우 $\tilde{O}(\epsilon^{-3})$ SFO 복잡도를 증명하여 알려진 하한선과 정확히 일치함을 보임.

실험 결과

연구 질문

• RQ1 일관된 적응형 행렬 수식을 통해 Adam, Adagrad, AdaGrad 등의 기존 방법들을 하나의 프레임워크로 통합할 수 있는가?
• RQ2 제안된 프레임워크는 비볼록 스토하스틱 최적화 문제에서 최적의 수렴 복잡도를 달성하는가?
• RQ3 모멘타임과 분산 감소 기법의 통합이 학습의 안정성과 수렴 속도를 향상시키는가?
• RQ4 이 프레임워크는 이미지 분류 및 언어 모델링과 같은 다양한 딥러닝 작업에서 실증적으로 어떻게 성능을 내는가?
• RQ5 특히 비독립 동일분포 또는 노이즈가 많은 데이터 설정 하에서도 이론적 수렴 보장이 실제로 성립하는가?

주요 결과

• SUPER-ADAM는 비볼록 최적화 문제에서 $\epsilon$-정류점(정류점)을 찾는 데 있어서 최고의 알려진 스토하스틱 제1차 오라클(SFO) 복잡도인 $\tilde{O}(\epsilon^{-3})$ 를 달성하며, 이는 이론적 하한선과 정확히 일치한다.
• When $\tau=1$, 알고리즘은 ResNet-34를 사용한 CIFAR-10, CIFAR-100, ImageNet에서 Adam, Adam+ (Ada-Norm-SGD), STORM 및 기타 적응형 방법보다 일관되게 뛰어난 성능을 보인다.
• LSTM를 사용한 Wiki-Text2 언어 모델링 작업에서 SUPER-ADAM는 $\tau=1$ 일 때 가장 낮은 퍼플렉서티를 기록하며 모든 기준 모델을 능가한다.
• 적응형 행렬 $H_t$ 의 조건수(condition number)는 시간이 지남에 따라 감소하고, 전체 기울기의 $\ell_2$ 노름 또한 감소함을 확인하여 이론적 수렴 행동이 검증되었다.
• $\tau=0$ 일 때 SUPER-ADAM는 Adam과 AmsGrad와 비교해 유사한 성능을 기록하며, 다양한 설정에서의 강건성과 유연성을 입증하였다.
• 알고리즘은 안정적이고 일반화 능력이 뛰어나 수동적인 학습률 튜닝이 필요 없으며, 다양한 아키텍처와 데이터셋에서 우수한 성능을 발휘한다.