[논문 리뷰] Aggregated Momentum: Stability Through Passive Damping

James Lucas, Shengyang Sun외 2명|arXiv (Cornell University)|2018. 04. 01.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 7

한 줄 요약

집적 동량(AggMo)은 다양한 감쇠 계수($\beta$)를 가진 여러 동량 벡터를 조합함으로써 최적화 안정성을 향상시키며, 수동 감쇠를 통해 고 $\beta$ 값(예: 0.999)에서도 빠른 수렴을 가능하게 한다. 실질적으로 고전적 및 네스테로프 동량보다 뛰어나며, 하이퍼파rameter 조정을 최소화하고도 수렴 속도가 빠르다.

ABSTRACT

Momentum is a simple and widely used trick which allows gradient-based optimizers to pick up speed along low curvature directions. Its performance depends crucially on a damping coefficient $β$. Large $β$ values can potentially deliver much larger speedups, but are prone to oscillations and instability; hence one typically resorts to small values such as 0.5 or 0.9. We propose Aggregated Momentum (AggMo), a variant of momentum which combines multiple velocity vectors with different $β$ parameters. AggMo is trivial to implement, but significantly dampens oscillations, enabling it to remain stable even for aggressive $β$ values such as 0.999. We reinterpret Nesterov's accelerated gradient descent as a special case of AggMo and analyze rates of convergence for quadratic objectives. Empirically, we find that AggMo is a suitable drop-in replacement for other momentum methods, and frequently delivers faster convergence.

연구 동기 및 목표

• 고감쇠 동량 방법($\beta \approx 1$)의 불안정성, 즉 진동 문제를 해결하기 위해.
• 저곡률 방향에서 높은 최종 속도를 유지하면서도 안정성을 해치지 않고 더 빠른 수렴을 가능하게 하기 위해.
• 고전적 및 네스테로프 동량의 단순한 교체 가능하고, 하이퍼파rameter 선택에 더 강건한 방법을 제공하기 위해.
• 물리학에 영감을 얻은 수동 감쇠 메커니즘으로서 AggMo를 공식화하여, 다중 주파수 속도 집적을 통해 공진을 방지하기 위해.

제안 방법

• AggMo는 각각 다른 감쇠 계수 $\beta_i$를 가진 다수의 속도 벡터를 유지하고, 이를 평균하여 매개변수 갱신을 수행한다.
• 업데이트 규칙은 $M$개의 속도 벡터를 조합한다: $\mathbf{v}_t^{(i)} = \beta_i \mathbf{v}_{t-1}^{(i)} - \nabla_\theta f(\boldsymbol{\theta}_{t-1})$, 이 후 $\boldsymbol{\theta}_t = \boldsymbol{\theta}_{t-1} + \gamma_t \cdot \frac{1}{M} \sum_{i=1}^M \mathbf{v}_t^{(i)}$.
• 이 방법은 구조 공학에서 다양한 공진 주파수를 가진 다수의 재료를 사용해 치명적인 진동을 방지하는 수동 감쇠에서 영감을 받는다.
• 적절한 $\beta_i$ 값 선택 시 AggMo는 네스테로프의 가속화된 기울기 방법을 특수 케이스로 포함함을 보여준다.
• 연속적 형태인 베타-평균 동량(Beta-Averaged Momentum)은 $\beta$ 값의 베타 분포에 대해 통합하여 이론적 분석을 위한 닫힌 형식의 모멘트 계산을 가능하게 한다.
• 이 방법은 딥 오토인코더, CNN, LSTM에 대해 실증적으로 평가되었으며, 기본 설정과 최적화 설정 하에서 수렴 속도와 일반화 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 다양한 감쇠 계수를 가진 여러 동량 벡터를 조합함으로써 고 $\beta$ 값에서 최적화를 안정화시킬 수 있는가?
• RQ2 AggMo는 고전적 및 네스테로프 동량과 비교해 수렴 속도와 하이퍼파rameter 선택에 대한 강건성 측면에서 어떻게 다른가?
• RQ3 AggMo는 다수의 공진 주파수를 가진 물리적 시스템과 유사한 수동 감쇠의 한 형태로 해석될 수 있는가?
• RQ4 AggMo는 온라인 볼록 프로그래밍 설정에서 이론적 수렴 보장을 달성하는가?
• RQ5 예를 들어, 베타-평균 동량과 같은 AggMo의 연속적 형태는 닫힌 형식의 업데이트 규칙과 안정적인 최적화 궤적을 제공할 수 있는가?

주요 결과

• AggMo는 고 $\beta$ 값(예: $\beta = 0.999$)을 사용할 때도 저곡률 방향에서 안정적인 고속도 축적 덕분에 고전적 및 네스테로프 동량보다 훨씬 더 빠른 수렴을 달성한다.
• MNIST 오토인코더 실험에서 AggMo는 기본 설정으로 테스트 손실 3.04를 기록했으며, 최적 설정에서의 네스테로프($4.62$)와 고전적 동량($4.98$)을 모두 뛰어넘었다.
• AggMo의 기본 하이퍼파ram터는 CM과 네스테로프의 기본 설정보다 우수한 성능을 보였으며, 조정 민감도가 낮음을 시사한다. 훈련 손실은 각각 1.94와 2.07보다 낮은 1.60을 기록했다.
• LSTM 실험에서는 Nesterov가 $\beta = 0.99$를 사용했음에도 불구하고, AggMo의 기본 설정이 검증 및 테스트 퍼플렉서티 측면에서 더 우수한 성능을 보였다.
• 이론적 분석 결과 AggMo는 온라인 볼록 프로그래밍에서 평균 위상 수렴을 달성함을 보여주며, 안정성과 수렴 성질을 뒷받침한다.
• 베타-평균 동량은 AggMo의 연속적 확장으로서 이산 AggMo와 유사한 최적화 궤적을 생성하며, 베타 분포의 모멘트를 통해 닫힌 형식의 모멘트 계산을 가능하게 한다.