[논문 리뷰] LaProp: a Better Way to Combine Momentum with Adaptive Gradient

Liu Ziyin, Zhikang T. Wang외 1명|arXiv (Cornell University)|2020. 02. 12.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 15

한 줄 요약

LaProp는 Adam 스타일 최적화기에서 운동량과 적응성의 결합을 분리함으로써, 이로 인해 발생하는 불안정성을 해결하는 새로운 최적화 방법을 제안한다. 운동량과 적응성의 독립적인 하이퍼파라미터 조정과 부호 기반 및 적응형 기울기 방법 사이의 보간을 가능하게 함으로써, 다양한 작업에서 뛰어난 학습 속도와 안정성을 달성한다. 또한, 볼록 문제에 대해 이론적으로 우월한 성능을 보여주는 손실 한계를 제시한다.

ABSTRACT

We identity a by-far-unrecognized problem of Adam-style optimizers which results from unnecessary coupling between momentum and adaptivity. The coupling leads to instability and divergence when the momentum and adaptivity parameters are mismatched. In this work, we propose a method, Laprop, which decouples momentum and adaptivity in the Adam-style methods. We show that the decoupling leads to greater flexibility in the hyperparameters and allows for a straightforward interpolation between the signed gradient methods and the adaptive gradient methods. We experimentally show that Laprop has consistently improved speed and stability over Adam on a variety of tasks. We also bound the regret of Laprop on a convex problem and show that our bound differs from that of Adam by a key factor, which demonstrates its advantage.

연구 동기 및 목표

• 운동량과 적응성 간의 의도하지 않은 결합으로 인해 발생하는 Adam 스타일 최적화기의 불안정성을 규명하고 해결하기 위해.
• 운동량과 적응성을 분리하여 독립적인 하이퍼파라미터 조정과 더 높은 방법론적 유연성을 가능하게 하기 위해.
• 운동량과 적응성 구성요소의 상대적 영향을 조절하여 부호 기반 방법과 적응형 기울기 방법 사이의 매끄러운 보간을 가능하게 하기 위해.
• 다양한 기계학습 작업에서 Adam에 비해 향상된 학습 속도와 안정성을 입증하기 위해.
• 볼록 문제에 대해 LaProp의 이론적 손실 한계를 제시하여 Adam에 비해 핵심적인 이점이 있음을 보여주기 위해.

제안 방법

• LaProp는 운동량 항과 적응형 학습률 계산을 분리하는 새로운 업데이트 규칙을 도입한다.
• 기울기와 그 제곱의 별도의 지수 이동 평균을 유지하여 두 항의 업데이트 메커니즘을 분리한다.
• 운동량 강도와 적응형 스케일링을 독립적으로 제어할 수 있도록 수정된 학습률 스케줄을 사용한다.
• 운동량과 적응성 구성요소의 상대적 영향을 조절하여, 부호 기반 및 적응형 기울기 방법 사이의 보간을 가능하게 한다.
• 기존의 Adam 유사 프레임워크와의 후행 호환성을 유지하면서 수렴 행동을 향상시키도록 설계되었다.
• 이론적 분석을 통해 볼록 문제에서 LaProp의 손실 한계를 근거로 하며, 이는 Adam의 손실 한계와의 핵심적 차이를 드러낸다.

실험 결과

연구 질문

• RQ1 Adam 스타일 최적화기에서 운동량과 적응성 간의 결합이 학습 안정성과 수렴에 어떤 영향을 미치는가?
• RQ2 운동량과 적응성을 분리하여 최적화 성능 향상과 하이퍼파라미터의 민감도를 개선할 수 있는가?
• RQ3 운동량과 적응성의 분리가 다양한 기계학습 작업에서 학습 속도와 안정성에 어떤 영향을 미치는가?
• RQ4 볼록 최적화 설정에서 LaProp의 손실 한계는 Adam의 손실 한계와 어떻게 비교되는가?
• RQ5 LaProp는 부호 기반 및 적응형 기울기 방법 사이에 매끄러운 보간을 달성할 수 있는가?

주요 결과

• LaProp는 다양한 기계학습 작업에서 Adam에 비해 일관되게 학습 속도와 안정성을 향상시킨다.
• 운동량과 적응성의 분리로 인해 수렴성을 해치지 않으면서도 하이퍼파라미터 선택의 유연성이 향상된다.
• LaProp는 설계를 통해 부호 기반 기울기 방법과 적응형 기울기 방법 사이의 매끄러운 보간을 가능하게 한다.
• 이론적 분석을 통해 LaProp의 손실 한계는 Adam의 손실 한계와 핵심적인 요소에서 다름을 보이며, 수렴 보장 측면에서 본질적인 이점이 있음을 시사한다.
• 실증 결과는 LaProp가 운동량과 적응성 파라미터가 불일치할 경우 발생하는 발산 문제를 피하는 것으로 나타났다.
• LaProp는 다양한 작업에서 뛰어난 성능을 유지하여 특정 아키텍처나 데이터셋을 초월한 광범위한 적용 가능성을 시사한다.