[논문 리뷰] Training Deep Neural Networks with Adaptive Momentum Inspired by the Quadratic Optimization

Tao Sun, Huaming Ling외 3명|arXiv (Cornell University)|2021. 10. 18.

Advanced Neural Network Applications참고 문헌 45인용 수 5

한 줄 요약

이 논문은 이차 최적화에서 최적의 모멘타 선택에 영감을 받아, 깊이 있는 신경망 학습을 위한 적응형 모멘타 방법을 제안한다. 기울기와 파라미터 변화에 기반해 모멘타 계수를 동적으로 조정함으로써, SGD와 Adam에서 수렴 속도 향상, 학습률에 대한 강건성 향상, 일반화 성능 향상을 달성하며, 볼록 및 비볼록 설정 모두에서 이론적 수렴 보장이 가능하다.

ABSTRACT

Heavy ball momentum is crucial in accelerating (stochastic) gradient-based optimization algorithms for machine learning. Existing heavy ball momentum is usually weighted by a uniform hyperparameter, which relies on excessive tuning. Moreover, the calibrated fixed hyperparameter may not lead to optimal performance. In this paper, to eliminate the effort for tuning the momentum-related hyperparameter, we propose a new adaptive momentum inspired by the optimal choice of the heavy ball momentum for quadratic optimization. Our proposed adaptive heavy ball momentum can improve stochastic gradient descent (SGD) and Adam. SGD and Adam with the newly designed adaptive momentum are more robust to large learning rates, converge faster, and generalize better than the baselines. We verify the efficiency of SGD and Adam with the new adaptive momentum on extensive machine learning benchmarks, including image classification, language modeling, and machine translation. Finally, we provide convergence guarantees for SGD and Adam with the proposed adaptive momentum.

연구 동기 및 목표

• SGD와 Adam에서 모멘타 하이퍼파rameter 수동 조정이 필요 없도록 하는 것.
• 최적화 동역학에 기반해 동적으로 조정되는 원칙적인 적응형 모멘타 체계 개발.
• 큰 학습률에 대한 강건성 향상과 일반화 성능 향상.
• 제안된 적응형 모멘타에 대한 볼록 및 비볼록 최적화 설정에서의 이론적 수렴 보장 제공.

제안 방법

• 적응형 모멘타 계수 $\beta_{k+1}$ 는 이차 최적화에서 최적의 모멘타에 기반한 공식을 통해 계산된다: $\beta_{k+1} = \text{Proj}_{[0,1-\delta]}\left(\left[1 - \sqrt{\gamma \frac{\|\mathbf{g}^k - \mathbf{g}^{k-1}\|}{\|\mathbf{x}^k - \mathbf{x}^{k-1}\|}}\right]^2\right)$ for $k \geq 2$.
• 기울기 및 파라미터 차이의 $\ell_2$ 노름을 사용해 곡률를 추정함으로써 동적 모멘타 조정이 가능하다.
• 이 방법은 표준 SGD와 Adam에 통합되며, 고정된 $\beta$ 를 적응형 $\beta_{k+1}$ 로 대체한다.
• 투영 연산자(Projection operator)를 통해 $\beta_{k+1} \in [0, 1 - \delta]$ 를 보장하며, 실험에서는 $\delta = 10^{-3}$ 을 사용한다.
• 이론적 분석을 통해 볼록 및 비볼록 설정 모두에서 적응형 모멘타의 수렴성을 확립하였다. 이는 프록시멀 HB 및 Adam 변형 포함.
• 이 방법은 이미지 분류, 언어 모델링, 기계 번역 벤치마크에서 검증되었다.

실험 결과

연구 질문

• RQ1 Can we design an adaptive momentum that eliminates the need for manual tuning of the momentum hyperparameter $\beta$ in SGD and Adam?
• RQ2 Does the proposed adaptive momentum improve convergence speed and generalization in deep neural network training?
• RQ3 Is the adaptive momentum robust to large learning rates across diverse machine learning tasks?
• RQ4 Can we provide theoretical convergence guarantees for SGD and Adam with the proposed adaptive momentum?

주요 결과

• 제안된 적응형 모멘타를 사용한 SGD와 Adam은 모든 평가된 벤치마크에서 기준 대비 더 빠른 수렴을 보였다.
• 적응형 모멘타 방법은 표준 SGD와 Adam보다 더 우수한 일반화 성능를 보였으며, 특히 큰 학습률 조건에서 두드러졌다.
• 학습률 하이퍼파rameter에 대한 강건성이 향상되어, 학습률이 최적화되지 않은 경우에도 성능 유지가 가능했다.
• 볼록 및 비볼록 설정 모두에서 이론적 수렴 보장이 확립되었으며, 프록시멀 HB 및 Adam 변형 포함.
• 이미지 분류, 언어 모델링, 기계 번역에서의 실험 결과는 일관된 성능 향상을 확인했다.
• 적응형 모멘타 체계는 $\beta$ 의 수동 조정 없이도 여러 표준 벤치마크에서 최고 성능을 달성하였다.