[논문 리뷰] Step-size Adaptation Using Exponentiated Gradient Updates

Ehsan Amid, Rohan Anil외 2명|arXiv (Cornell University)|2022. 01. 31.

Machine Learning and ELM인용 수 4

한 줄 요약

이 논문은 비정규화된 지수형 경사하강 업데이트(EGU)를 사용하여 전역 학습률과 좌표별 이득을 적응적으로 조정하는 메타 최적화 프레임워크를 제안한다. 이는 딥러닝에서 수동 학습률 스케줄링 없이도 자동으로 학습률 스케줄을 발견할 수 있게 하며, ResNet50 및 MobileNetV1 모델을 사용한 CIFAR-10 및 ImageNet에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Optimizers like Adam and AdaGrad have been very successful in training large-scale neural networks. Yet, the performance of these methods is heavily dependent on a carefully tuned learning rate schedule. We show that in many large-scale applications, augmenting a given optimizer with an adaptive tuning method of the step-size greatly improves the performance. More precisely, we maintain a global step-size scale for the update as well as a gain factor for each coordinate. We adjust the global scale based on the alignment of the average gradient and the current gradient vectors. A similar approach is used for updating the local gain factors. This type of step-size scale tuning has been done before with gradient descent updates. In this paper, we update the step-size scale and the gain variables with exponentiated gradient updates instead. Experimentally, we show that our approach can achieve compelling accuracy on standard models without using any specially tuned learning rate schedule. We also show the effectiveness of our approach for quickly adapting to distribution shifts in the data during training.

연구 동기 및 목표

• 딥러닝 최적화 알고리즘의 수동으로 조정된 학습률 스케줄링에 대한 의존도를 해소하기 위해.
• 기존의 단위 크기 조정 방법들을 엄밀하고 일반화 가능한 프레임워크로 통합하기 위해.
• 적응적 이득 및 스케일 파라미터를 통해 효과적인 학습률 스케줄링을 자동으로 발견할 수 있도록 하기 위해.
• 학습 중 데이터 분포의 변화에 대한 강건성을 향상시키기 위해.
• Adam, AdaGrad, SGD 모멘터럼을 포함한 다양한 기본 최적화 알고리즘과의 호환성을 입증하기 위해.

제안 방법

• 전역 학습률 스케일과 좌표별 이득 요소를 학습 가능한 하이퍼파rameter로 유지하는 메타 최적화 프레임워크를 도입한다.
• 비정규화된 지수형 경사하강 업데이트(EGU)를 사용하여 전역 스케일과 국소 이득을 업데이트하며, 이는 음수가 되지 않도록 하고 곱셈형, 희소한 업데이트를 가능하게 한다.
• EGU 업데이트 규칙은 다음과 같다: θ^{t+1} = θ^t ⊙ exp(−η ∇_θ f(θ^t)), 안정적이고 음수가 아닌 파라미터 업데이트를 보장한다.
• 기본 최적화 알고리즘(예: Adam, AdaGrad, SGD 모멘터럼)으로부터의 임의의 전처리된 경사도를 수용하므로 모듈식이며 광범위하게 적용 가능하다.
• 스케일과 이득 업데이트를 위한 정렬 신호를 계산하기 위해 경사도의 지수 이동 평균(EMA)을 사용한다.
• 내부 최적화 알고리즘에 독립적이므로 플러그인 메타 알고리즘으로 적용 가능하다.

실험 결과

연구 질문

• RQ1 통합적이고 원리에 기반한 단위 크기 조정 방법이 대규모 딥러닝에서 수동 학습률 스케줄링을 능가할 수 있는가?
• RQ2 EGU 기반의 전역 스케일 및 좌표별 이득 조정이 자동으로 효과적인 학습률 스케줄링을 발견하는 데 얼마나 효과적인가?
• RQ3 제안된 방법은 재학습 없이 일반화 성능을 향상시키고 데이터 분포의 변화에 적응할 수 있는가?
• RQ4 다양한 아키텍처(예: MobileNetV1, ResNet50)와 데이터셋(CIFAR-10, ImageNet)에서 이 방법의 성능은 어떠한가?
• RQ5 EGU 기반 업데이트 메커니즘이 수렴성과 안정성 측면에서 히우리스틱 또는 경사기반 조정 방법보다 우월한가?

주요 결과

• MobileNetV1을 사용한 CIFAR-10에서 Funneled Momentum는 학습률 스케줄링 없이도 상위 1위 정확도 89.61%를 달성했으며, 수동 스케줄링을 사용한 베이스라인의 89.51% 정확도와 동일한 성능을 보였다.
• ResNet50를 사용한 ImageNet에서 Funneled Momentum는 학습률 스케줄링 없이도 상위 1위 정확도 72.39%를 달성했으며, AdaGrad-EMA(70.70%)를 능가했고, 학습률 스케줄링 없이 표준 모멘터럼을 사용한 경우(53.80%)보다도 크게 뛰어났다.
• 모든 레이어에서 전역 학습률 스케일에 대해 감쇠 유사 스케줄을 자동으로 복구하는 것으로 나타났으며, 레이어별로 다른 감쇠 비율을 가짐을 그림 4에서 확인할 수 있었다.
• 좌표별 이득 값은 약 5,000단계 동안 초기에 동적으로 증가한 후 감소함을 보여, 관련 특징을 적응적으로 탐색하는 것으로 나타났다.
• 학습 중 빠른 적응을 통해 분포 이동에 강건함을 입증함으로써, 분포 이동에 대한 저항력이 뛰어나다.
• 재현성과 향후 연구를 위해 코드는 https://users.soe.ucsc.edu/~eamid/funnel.html 에 공개되어 있다.