[논문 리뷰] Continuous Time Analysis of Momentum Methods

Nikola Kovachki, Andrew M. Stuart|arXiv (Cornell University)|2019. 06. 10.

Stochastic Gradient Optimization Techniques인용 수 13

한 줄 요약

이 논문은 Heavy Ball 및 Nesterov의 가속 경사하강법과 같은 모멘텀 기반 최적화 방법에 대한 연속 시간 분석을 제공하며, 이들이 모멘텀에 따라 조정되는 보정이 있는 두 번째 차수 상미분방정식을 근사함을 보여준다. 이는 모멘텀이 훈련을 안정화시키는 이유를 설명하며, 고정된 학습률을 가진 비점근적 영역에서 표준 경사하강법보다 실용적으로 뛰어난 성능을 내는 이유를 설명한다. 이는 최적화가 수정된, 볼록화된 손실 함수 위에서 이루어지는 불변 다각형에서 일어남을 보여준다.

ABSTRACT

Gradient descent-based optimization methods underpin the parameter training of neural networks, and hence comprise a significant component in the impressive test results found in a number of applications. Introducing stochasticity is key to their success in practical problems, and there is some understanding of the role of stochastic gradient descent in this context. Momentum modifications of gradient descent such as Polyak's Heavy Ball method (HB) and Nesterov's method of accelerated gradients (NAG), are also widely adopted. In this work our focus is on understanding the role of momentum in the training of neural networks, concentrating on the common situation in which the momentum contribution is fixed at each step of the algorithm. To expose the ideas simply we work in the deterministic setting. Our approach is to derive continuous time approximations of the discrete algorithms; these continuous time approximations provide insights into the mechanisms at play within the discrete algorithms. We prove three such approximations. Firstly we show that standard implementations of fixed momentum methods approximate a time-rescaled gradient descent flow, asymptotically as the learning rate shrinks to zero; this result does not distinguish momentum methods from pure gradient descent, in the limit of vanishing learning rate. We then proceed to prove two results aimed at understanding the observed practical advantages of fixed momentum methods over gradient descent. We achieve this by proving approximations to continuous time limits in which the small but fixed learning rate appears as a parameter. Furthermore in a third result we show that the momentum methods admit an exponentially attractive invariant manifold on which the dynamics reduces, approximately, to a gradient flow with respect to a modified loss function.

연구 동기 및 목표

• 고정된 모멘텀 최적화 방법이 고정된 학습률을 가진 비점근적 설정에서 표준 경사하강법보다 실용적으로 유리한 이유를 이해하기 위해.
• 학습률을 작은 매개변수로 간주하여 수치 해석에서의 수정 방정식 분석 기법을 사용해 이산 모멘텀 알고리즘의 연속 시간 근사치를 유도하기 위해.
• 모멘텀의 안정화 및 강건성 향상 효과를 설명하는 역학적 메커니즘—예를 들어, 두 번째 차수 보정 및 불변 다각형—을 규명하기 위해.
• 모멘텀을 감쇠된 두 번째 차수 시스템으로서의 물리적 직관을 수학적으로 형식화하고, 딥러닝에서의 최적화 행동과 연결하기 위해.
• 모멘텀 방법이 원래 손실 함수의 변형된, 볼록화된 형태를 효과적으로 최적화함으로써 임시 안정성 초과의 강건성을 향상시킨다는 것을 보여주기 위해.

제안 방법

• 학습률을 작은 매개변수로 간주하여 수치 해석에서의 수정 방정식 기법을 사용해 이산 모멘텀 방법의 연속 시간 근사치를 유도하기 위해.
• 학습률이 점점 줄어들 때 고정된 모멘텀 방법이 시간 스케일 조정된 경사하강 흐름을 근사함을 증명하며, 이 경우 표준 경사하강법과의 차이가 없음을 보여주기 위해.
• 모멘텀이 학습률 비례의 두 번째 차수 시간 도함수 보정 항을 도입하여 최적화의 일시적 안정성을 설명함을 규명하기 위해.
• 시스템의 역학이 수정된 손실 함수 Φ + O(h) 위에서 경사하강 흐름으로 축소되는 지수적으로 안정적인 불변 다각형으로 끌려감을 규명하기 위해. 여기서 h는 학습률이다.
• 수축 사상 원리와 플로우 맵의 조합을 사용해 연속 시간 근사치의 수렴성과 안정성을 엄밀히 분석하기 위해.
• 평균화 방법과 플로우 분해를 적용해 빠른(감쇠) 및 느린(경사) 역학을 분리함으로써 장기적 행동을 분석할 수 있도록 하기 위해.

실험 결과

연구 질문

• RQ1 고정된 작은 학습률을 가진 비점근적 영역에서 모멘텀 방법은 표준 경사하강법과 어떻게 다를까?
• RQ2 학습률이 작지만 0이 아닌 경우, 고정된 모멘텀 방법은 어떤 연속 시간 역학 시스템을 근사하는가?
• RQ3 모멘텀 방법의 연속 시간 근사치에서 두 번째 차수 보정 항의 역할은 무엇인가?
• RQ4 모멘텀 역학은 최적화 과정을 단순화하는 저차원 불변 다각형을 갖는가?
• RQ5 불변 다각형 위의 수정된 손실 함수는 모멘텀 방법의 강건성과 일반화 성능을 어떻게 설명하는가?

주요 결과

• 고정된 모멘텀 방법은 학습률이 점점 줄어들 때 시간 스케일 조정된 경사하강 흐름을 근사하며, 이 경우 표준 경사하강법과의 점근적 우월성은 없음을 보여준다.
• 비점근적 영역에서 모멘텀은 학습률 비례의 두 번째 차수 보정 항을 도입하여 최적화의 일시적 단계를 안정화시킨다.
• 모멘텀 방법의 역학은 지수적으로 안정한 불변 다각형으로 끌려가며, 이 다각형 위에서는 수정된 손실 함수 Φ + O(h) 위에서 경사하강 흐름으로 행동한다.
• 손실 함수의 변형은 학습률에 비례하며, 이는 손실 곡면을 볼록화시켜 일시적 안정성 초과의 강건성을 설명한다.
• 불변 다각형 위의 수정된 손실 함수는 날카운 최소점들을 매끄럽게 하고 초기 조건에 대한 민감도를 줄여 일반화 성능 향상의 메커니즘을 제공한다.
• 연속 시간 분석은 모멘텀의 경험적 성공을 엄밀히 정당화하며, 이는 안정적이고 볼록화된 최적화 경로와 연결된다.