[논문 리뷰] Decaying momentum helps neural network training

John Chen, Anastasios Kyrillidis|arXiv (Cornell University)|2019. 09. 25.

Advanced Neural Network Applications참고 문헌 78인용 수 12

한 줄 요약

이 논문은 Adam과 모멘텀 SGD와 같은 적응형 최적화기에서 과거 기울기의 영향을 점진적으로 줄이는 단순하면서도 효과적인 규칙인 감쇠 모멘텀(Demon)을 제안한다. 시간이 지남에 따라 모멘텀을 감쇠시킴으로써 Demon은 훈련의 안정성과 성능을 향상시키며, 학습률 감쇠 스케줄과 경쟁 가능한 성능을 달성하면서도 하이퍼파라미터 튜닝에 훨씬 덜 민감하다.

ABSTRACT

Momentum is a simple and popular technique in deep learning for gradient-based optimizers. We propose a decaying momentum (Demon) rule, motivated by decaying the total contribution of a gradient to all future updates. Applying Demon to Adam leads to significantly improved training, notably competitive to momentum SGD with learning rate decay, even in settings in which adaptive methods are typically non-competitive. Similarly, applying Demon to momentum SGD improves over momentum SGD with learning rate decay in most cases. Notably, Demon momentum SGD is observed to be significantly less sensitive to parameter tuning than momentum SGD with learning rate decay schedule, critical to training deep neural networks in practice.Results are demonstrated across a variety of settings and architectures, including image classification, generative models, and language models. Demon is trivial to implement, easy to tune, and incurs limited extra computational overhead, compared to the vanilla counterparts. Code is readily available.

연구 동기 및 목표

• Adam과 같은 적응형 최적화기에서 흔히 나타나는 낮은 일반화 성능과 하이퍼파라미터에 대한 민감도를 해결하기 위해.
• 학습률 감쇠 스케줄에 의존하지 않고도 딥 네ural 네트워크의 훈련 안정성과 수렴성을 향상시키기 위해.
• Adam과 모멘텀 SGD 모두를 향상시킬 수 있는 단순하고 효과적인 모멘텀 감쇠 메커니즘을 개발하기 위해.
• 딥러닝 최적화에서 광범위한 하이퍼파라미터 튜닝이 필요로 하지 않도록 하기 위해.

제안 방법

• 역사적 기울기의 영향이 점점 줄어드는 것에 영감을 얻어, 과거 기울기의 기여도를 시간이 지남에 따라 감소시키는 감쇠 모멘텀 규칙을 도입한다.
• 시간에 따라 변하는 모멘텀 계수를 도입하여 Adam과 모멘텀 SGD의 모멘텀 업데이트 규칙을 수정한다. 이 모멘텀 계수는 단조롭게 감쇠된다.
• Adam의 첫 번째 및 두 번째 모멘텀 모두에 감쇠 모멘텀을 적용하여, 오래된 기울기가 향후 업데이트에 더 적은 기여를 하도록 보장한다.
• 모멘텀 계수에 간단한 감쇠 스케줄(예: 지수 감쇠 또는 다항 감쇠)을 사용하여 구현과 튜닝이 용이하도록 한다.
• 최소한의 계산 오버헤드로 기존 최적화기와 통합한다.
• 이미지 분류, 생성 모델, 언어 모델을 포함한 다양한 아키텍처와 작업에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 감쇠 모멘텀은 Adam과 같은 적응형 최적화기의 일반화 성능을 향상시킬 수 있는가?
• RQ2 학습률 감쇠와 비교해 감쇠 모멘텀은 하이퍼파라미터 튜닝에 덜 민감한가?
• RQ3 추가적인 계산 비용 없이도 딥 네ural 네트워크의 훈련 안정성과 수렴성을 Demon이 향상시킬 수 있는가?
• RQ4 시각 및 언어 모델을 포함한 다양한 아키텍처와 작업에서 Demon의 성능은 어떠한가?

주요 결과

• Demon은 Adam에서 학습률 감쇠를 사용한 모멘텀 SGD와 경쟁 가능한 성능을 달성하며 훈련 성능을 향상시킨다.
• Demon 모멘텀 SGD는 대부분의 테스트 설정에서 학습률 감쇠를 사용한 표준 모멘텀 SGD를 능가한다.
• Demon 모멘텀 SGD는 학습률 감쇠를 사용한 모멘텀 SGD보다 하이퍼파라미터 튜닝에 훨씬 덜 민감하다.
• 기존 최적화기 대비 최소한의 계산 오버헤드를 유발하며 간단하게 구현할 수 있다.
• Demon은 이미지 분류, 생성 모델, 언어 모델 전반에 걸쳐 일관된 성능 향상을 보였다.