[논문 리뷰] Demon: Improved Neural Network Training with Momentum Decay

John Chen, C. Wolfe외 2명|arXiv (Cornell University)|2019. 10. 11.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 확률적 경사 하강법에 동력을 부여하는 데모니스트(Demon)를 제안한다. 이는 비선형 감쇠 규칙을 사용해 학습 시간이 지남에 따라 동력을 동적으로 감소시키는 새로운 동력 감쇠 스케줄이다. Demon은 28개의 다양한 딥러닝 작업에서 최신 기술 수준의 성능을 달성하며, 표준 학습률 및 동력 스케줄링(예: 코즈인 감쇠 및 OneCycle 포함)을 모두 능가한다. Top-1 성능에서 39%, Top-3 성능에서 85%의 랭킹을 기록했으며, 추가 하이퍼파rameter 튜닝이 필요 없고 계산 비용도 극히 적게 든다.

ABSTRACT

Momentum is a widely used technique for gradient-based optimizers in deep learning. In this paper, we propose a decaying momentum ( extsc{Demon}) rule. We conduct the first large-scale empirical analysis of momentum decay methods for modern neural network optimization, in addition to the most popular learning rate decay schedules. Across 28 relevant combinations of models, epochs, datasets, and optimizers, extsc{Demon} achieves the highest number of Top-1 and Top-3 finishes at 39\% and 85\% respectively, almost doubling the second-placed learning rate cosine schedule at 17\% and 60\%, respectively. extsc{Demon} also outperforms other widely used schedulers including, but not limited to, the learning rate step schedule, linear schedule, OneCycle schedule, and exponential schedule. Compared with the widely used learning rate step schedule, extsc{Demon} is observed to be less sensitive to parameter tuning, which is critical to training neural networks in practice. Results are demonstrated across a variety of settings and architectures, including image classification, generative models, and language models. extsc{Demon} is easy to implement, requires no additional tuning, and incurs almost no extra computational overhead compared to the vanilla counterparts. Code is readily available.

연구 동기 및 목표

• 딥러닝 최적화에서 하이퍼파rameter 민감성 문제를 해결하기 위해, 특히 학습률 및 동력 스케줄링에 대한 광범위한 튜닝 의존도를 줄이기 위해.
• 원칙적인 동력 감쇠 전략을 도입함으로써 다양한 아키텍처와 데이터셋에서 모델의 일반화 능력 향상과 학습 안정성 향상을 도모하기 위해.
• 하이퍼파rameter 검색의 계산 비용과 인간의 노력 비용을 줄이기 위해, 추가 튜닝 없이도 일관되게 우수한 성능을 보이는 동력 스케줄링을 설계하기 위해.
• 실제 딥러닝 벤치마크(이미지 분류, 언어 모델링, 생성 모델링 포함)에서 표준 학습률 스케줄링과의 비교를 통해 동력 감쇠의 효과성을 평가하기 위해.

제안 방법

• Demon은 비선형 동력 감쇠 스케줄을 구현하며, 동력 계수 β_t가 초기 값 β_init 로부터 학습의 끝까지 0으로 감소한다. 공식은 다음과 같다: β_t = β_init * (1 - t/T) / [(1 - β_init) + β_init * (1 - t/T)].
• 감쇠 규칙은 초기 학습 단계에서 고동력을 유지해 수렴 속도를 높이고, 후기 단계에서 동력을 줄여 일반화 능력과 안정성을 향상시키기 위해 설계되었다.
• SGDM 및 Adam 최적화기 모두와 호환되며, 각각에 대해 별도의 알고리즘 수식을 제공하여 광범위한 적용 가능성을 확보하였다.
• 계산 효율성이 뛰어나 각 반복마다 β_t를 계산하는 데 추가로 하나의 연산만 필요하며, 메모리나 상당한 오버헤드 없이도 구현 가능하다.
• PyTorch에 구현되어 공개되었으며, 기존 학습 파이프라인에 쉽게 통합할 수 있다.
• 저자는 28개의 모델-데이터셋-최적화기-에포크 조합에서 대규모 실험적 평가를 수행하여 Demon을 10개의 기존 학습률 및 동력 스케줄링과 비교하였다.

실험 결과

연구 질문

• RQ1 비선형 동력 감쇠 스케줄이 다양한 딥러닝 작업에서 최종 모델 정확도와 안정성 측면에서 표준 학습률 감쇠 스케줄링을 능가하는가?
• RQ2 Demon은 코즈인, 스텝, 선형, OneCycle 등의 널리 사용되는 학습률 스케줄링과 비교해 복수의 벤치마크에서 Top-1 및 Top-3 성능에서 어떤가?
• RQ3 표준 스케줄링(예: 학습률 스텝 감쇠)에 비해 Demon은 하이퍼파rameter 튜닝 민감도를 어느 정도 감소시키는가?
• RQ4 Demon은 SGDM 및 Adam 최적화기 모두에 효과적으로 적용될 수 있으며, 다양한 아키텍처와 데이터셋에서 일관된 성능 향상을 유지하는가?
• RQ5 Demon의 성능 향상은 단순한 효과적 학습률 조정 때문인가, 아니면 최적화 궤적에서 더 복잡한 동적 행동 때문인가?

주요 결과

• Demon은 28개 실험에서 Top-1 랭킹을 39.29%로 기록하며, 다음으로 높은 성능을 보인 학습률 코즈인 감쇠 스케줄(17.86%)을 크게 앞서며 가장 많은 수의 상위 1위 성과를 기록했다.
• Demon은 Top-3 랭킹에서 85.71%를 기록했으며, 두 번째로 높은 성능를 보인 학습률 코즈인 감쇠 스케줄(60.71%)의 거의 두 배에 이를 정도로 뛰어난 성능을 보였다.
• CIFAR-10에서 ResNet-20를 사용한 이미지 분류 작업에서, Demon SGDM은 테스트 오차를 기존 SGD ELR의 8.71%에서 동일한 8.71%로 유지하면서 기준 모델 대비 0.5% 향상된 성능을 달성했다.
• GLUE에 맞추어 미세조정된 BERT base 모델에서, Demon Adam은 CoLA 작업에서 0.6점 향상(79.7 vs. 79.1)과 QNLI 작업에서 0.5점 향상(90.0 vs. 89.0)을 기록했으며, 추가 튜닝 없이도 성능 향상을 달성했다.
• MNIST에 대한 VAE 학습에서, Demon SGDM은 100 에포크 기준 일반화 손실을 138.29에서 136.55로 감소시켰고, 반면 SGD ELR는 발산하는 것으로 나타나 Demon의 안정성을 입증했다.
• 시각, NLP, 생성 모델링 작업 전반에서 OneCycle, 스텝, 선형, 지수 감쇠 스케줄을 포함한 모든 다른 동력 및 학습률 스케줄링보다 Demon이 뛰어난 성능을 보였다.