[논문 리뷰] Understanding the Role of Momentum in Stochastic Gradient Methods

Igor Gitman, Hunter Lang외 2명|arXiv (Cornell University)|2019. 10. 30.

Markov Chains and Monte Carlo Methods인용 수 42

한 줄 요약

본 논문은 확률적 경사하강법에서 quasi-hyperbolic momentum (QHM)에 대한 통합 분석을 제공하며, 매개변수 조정을 안내하기 위해 수렴성, 안정성 및 정상분포 결과를 도출한다.

ABSTRACT

The use of momentum in stochastic gradient methods has become a widespread practice in machine learning. Different variants of momentum, including heavy-ball momentum, Nesterov's accelerated gradient (NAG), and quasi-hyperbolic momentum (QHM), have demonstrated success on various tasks. Despite these empirical successes, there is a lack of clear understanding of how the momentum parameters affect convergence and various performance measures of different algorithms. In this paper, we use the general formulation of QHM to give a unified analysis of several popular algorithms, covering their asymptotic convergence conditions, stability regions, and properties of their stationary distributions. In addition, by combining the results on convergence rates and stationary distributions, we obtain sometimes counter-intuitive practical guidelines for setting the learning rate and momentum parameters.

연구 동기 및 목표

• 인기 있는 확률적 경사하강법 변형들을 포괄하는 통합 모멘텀 프레임워크(QHM)를 동기 부여하고 형식화한다.
• 감소하는 학습률 하에서 매끄러운 비볼록 목적함수에 대한 점근적 수렴 결과를 도출한다.
• 상수 매개변수에 대한 국부 안정 영역과 수렴 속도를 특성화한다.
• 고정된 매개변수를 갖는 QHM의 정상분포를 분석하여 분산과 잡음 효과를 이해한다.
• 상수-드롭 훈련 체계에서 학습률과 모멘텀을 조정하기 위한 실용적인 가이드라인을 제공한다.

제안 방법

• SGD와 SHB를 보간하는 매개변수 (alpha, beta, nu)를 갖는 일반적인 QHM 업데이트를 채택한다.
• 지정된 잡음 가정(Assumption A) 하에서 감소하는 스텝 크기에 대한 수렴 결과를 도출한다.
• 국부 최솟값 부근에서 동역학을 선형화하여 증강 상태 z^k와 행렬 T를 통해 안정성을 연구한다.
• 특이값 반지름 rho(T)를 분석하여 안정 영역을 계산하고 (alpha, beta, nu)에 대한 명시적 조건을 도출한다.
• 2차 모델과 공분산을 갖는 잡음을 사용하여 상수 매개변수의 정상분포를 검토하고 2차 수준의 통찰을 얻는다.
• 점근 이론을 실제 매개변수 선택 및 상수-드롭 훈련 방식과 연계한다.

실험 결과

연구 질문

• RQ1 QHM 변형들이 매끄러운 비볼록 목적함수에서 거의 확실하게 수렴하는 조건은 무엇인가?
• RQ2 운동량 매개변수(beta, nu)와 학습률 alpha가 안정성 및 국부 수렴 속도에 어떤 상호작용을 하는가?
• RQ3 고정된 매개변수를 갖는 QHM의 정상분포 형태는 무엇이며, alpha, beta, nu가 분산에 어떤 영향을 미치는가?
• RQ4 상수-드롭 훈련 체계에서 alpha, beta, nu를 설정하기 위한 실용적인 가이드라인은 무엇인가?
• RQ5 QHM이 SGD, SHB, NAG에 대한 알려진 결과들을 어떻게 통합하고 확장하는가?

주요 결과

• beta_k → 0 또는 적절한 잡음 조건에서 nu_k beta_k → 1일 때 학습률이 감소하는 경우 QHM은 거의 확실하게 수렴한다.
• 국부 안정 영역은 alpha, beta, nu에 대한 명시적 경계로 특징지어지며, 국부 이차 근사에서의 해시안 고유값(mu와 L)에 의존한다.
• 고정된 매개변수의 경우 결정적 부분 Z^k가 수렴하고 확률적 부분은 alpha, beta, nu 및 그래디언트 잡음과 관련된 공분산을 갖는 정상분포를 생성한다.
• 정상 분산은 alpha의 2차 차수 전개를 허용하며 beta와 nu에 대한 미묘한 의존성을 보이며, 예를 들어 더 큰 beta가 정상 손실을 줄일 수 있는 특정 영역이 있다.
• 수치적 및 이론적 결과는 최적 수렴 속도가 nu와 함께 감소한다는 것을 시사하고, 모멘텀 설정은 빠른 수렴과 더 작은 정상 분포 사이의 균형을 맞춰야 한다.
• 가이드라인은 SHB 유사 영역에서 α를 낮추면서도 속도를 유지해 정상 손실을 낮출 수 있음을 시사하고, 실제로는 beta를 1에 가깝게 하고 작은 alpha와 적절한 nu를 사용하면 결과가 개선될 수 있다.