[논문 리뷰] Gradient descent with momentum --- to accelerate or to super-accelerate?

Goran Nakerst, John Brennan외 1명|arXiv (Cornell University)|2020. 01. 17.

Stochastic Gradient Optimization Techniques참고 문헌 48인용 수 5

한 줄 요약

이 논문은 새로운 하이퍼파rameter σ > g를 통해 한 번 이상의 단계 앞선 점에서 기울기를 평가하여, 표준 Nesterov 가속보다 훨씬 빠른 수렴 속도를 달성하는 '초가속화'(super-acceleration)를 제안한다. 이는 이차 및 합성 손실 곡면, MNIST 신경망 학습에서 최적의 σ > 1이 더 빠른 최소화를 가능하게 하며, RMSProp 및 Adam과 같은 적응형 최적화 방법으로도 확장 가능하다.

ABSTRACT

We consider gradient descent with `momentum', a widely used method for loss function minimization in machine learning. This method is often used with `Nesterov acceleration', meaning that the gradient is evaluated not at the current position in parameter space, but at the estimated position after one step. In this work, we show that the algorithm can be improved by extending this `acceleration' --- by using the gradient at an estimated position several steps ahead rather than just one step ahead. How far one looks ahead in this `super-acceleration' algorithm is determined by a new hyperparameter. Considering a one-parameter quadratic loss function, the optimal value of the super-acceleration can be exactly calculated and analytically estimated. We show explicitly that super-accelerating the momentum algorithm is beneficial, not only for this idealized problem, but also for several synthetic loss landscapes and for the MNIST classification task with neural networks. Super-acceleration is also easy to incorporate into adaptive algorithms like RMSProp or Adam, and is shown to improve these algorithms.

연구 동기 및 목표

• 일보 전진한 한 단계를 넘어서, Nesterov 가속을 확장하여 모멘텀 기반 경사하강법의 수렴 속도를 향상시키는 것.
• 일련의 단계 앞선 점(σ > 1)에서 기울기를 평가하는 것이 수렴 속도를 향상시키는지 조사하는 것.
• 이차 및 비이차 손실 함수에서 새로운 하이퍼파rameter σ의 최적값을 분석하는 것.
• 초가속화를 RMSProp 및 Adam과 같은 적응형 최적화 방법으로 확장하는 것.
• 딥러닝 모델 학습에서 σ를 사용하는 데 실용적인 권고 사항을 제공하는 것.

제안 방법

• 기울기를 θ^(i) + σ·m^(i-1)에서 계산하는 수정된 모멘텀 알고리즘을 제안하며, σ를 새로운 하이퍼파rameter로 도입한다.
• 모멘텀 및 Nesterov 방법을 감쇠된 조화 진동자로 모델링하기 위해 연속 시간 상 미분방정식(OEDs)을 사용한다.
• 이차 손실 함수 L(θ) = ½kθ²를 분석하여 최적의 σ를 해석적·수치적으로 유도한다.
• 다양한 σ 값에서 성능을 평가하기 위해 2차원 및 약 50차원의 합성 손실 곡면에서 수치 실험을 수행한다.
• 완전 연결 및 컨볼루션 신경망을 사용한 MNIST 분류 작업에서 방법을 테스트한다.
• RMSProp 및 Adam의 업데이트 규칙에 σ를 통합하여 이 방법을 적응형 최적화 방법으로 확장한다.

실험 결과

연구 질문

• RQ1 Nesterov의 앞서보는 전략을 한 단계에서 여러 단계로 확장함(σ > 1)하여 최적화의 수렴 속도를 크게 향상시킬 수 있는가?
• RQ2 이차 손실 함수를 최소화할 때 최적의 σ 값은 무엇이며, 이는 학습률과 곡률에 어떻게 의존하는가?
• RQ3 초가속화는 비이차적 합성 손실 곡면과 실제 딥러닝 작업(MNIST 등)에서 성능 향상에 기여하는가?
• RQ4 초가속화는 RMSProp 및 Adam과 같은 적응형 최적화 방법과 어떻게 상호작용하는가?
• RQ5 초가속화가 실패하는 조건는 무엇이며, 실무에서 이러한 불안정성은 어떻게 완화할 수 있는가?

주요 결과

• 일차원 이차 손실 함수에서 최적의 σ는 대부분의 kη 값에서 1보다 훨씬 크며(예: σ* ≈ 2–5), 이는 초가속화가 수렴 속도를 향상시킴을 시사한다.
• 2차원 및 약 50차원의 합성 곡면에서 g ≈ 0.9를 초과하는 σ를 증가시키면 더 빠른 최소화가 가능하지만, 과도하게 큰 σ는 비선형성으로 인해 최소점이 아닌 점으로 수렴하게 한다.
• 완전 연결 및 컨볼루션 신경망을 사용한 MNIST 분류 작업에서 σ > 1인 초가속화는 학습을 가속화하고 수렴 속도를 향상시킨다.
• 이 방법은 RMSProp 및 Adam과 같은 적응형 최적화 방법에 쉽게 통합되며, 初期 결과에서 성능 향상이 관찰된다.
• 실무적 사용을 위해 σ ≈ 5에서 시작하여 점차 σ ≈ 2로 감소시키는 것이 불안정성을 피하면서도 빠른 수렴을 유지하는 데 효과적이다.
• 초가속화가 실패하는 경우는 초박공한 영역(매우 작은 kη)에서 발생하며, 이 경우 σ의 영향이 미미하다. 또한 매우 비선형적인 영역(예: 일부 합성 함수에서 σ ≳ 4)에서는 잡음이 있는 흡착점이 나타난다.