[논문 리뷰] LaProp: Separating Momentum and Adaptivity in Adam

Liu Ziyin, Zhikang T. Wang외 1명|arXiv (Cornell University)|2020. 02. 12.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 14

한 줄 요약

이 논문은 Adam 스타일 최적화기에서 운동량과 적응성의 결합으로 인한 불안정성을 해결하기 위해 운동량과 적응성을 분리하는 새로운 적응형 최적화기인 LaProp을 제안한다. 이 두 성분을 분리함으로써 LaProp는 훨씬 뛰어난 훈련 안정성과 유연성을 확보하며, 동일한 초기화수를 유지하면서도 서명된 기울기 방법과 적응형 방법 사이의 부드러운 보간을 가능하게 하며, 다양한 작업—특히 노이즈가 많고 불안정하거나 어려운 최적화 문제—에서 항상 Adam을 능가한다.

ABSTRACT

We identity a by-far-unrecognized problem of Adam-style optimizers which results from unnecessary coupling between momentum and adaptivity. The coupling leads to instability and divergence when the momentum and adaptivity parameters are mismatched. In this work, we propose a method, Laprop, which decouples momentum and adaptivity in the Adam-style methods. We show that the decoupling leads to greater flexibility in the hyperparameters and allows for a straightforward interpolation between the signed gradient methods and the adaptive gradient methods. We experimentally show that Laprop has consistently improved speed and stability over Adam on a variety of tasks. We also bound the regret of Laprop on a convex problem and show that our bound differs from that of Adam by a key factor, which demonstrates its advantage.

연구 동기 및 목표

• 운동량과 적응성의 결합으로 인해 발생하는 Adam 스타일 최적화기의 불안정성 및 발산 문제를 해결한다.
• Adam의 장점을 유지하면서도 초깃값 선택에 있어 더 높은 강건성과 유연성을 확보하는 새로운 최적화 알고리즘을 개발한다.
• 서명된 기울기 방법과 적응형 기울기 방법 사이의 부드러운 보간을 가능하게 한다. 이는 Adam에서 이루어질 수 없는 일이다.
• LaProp의 옹호한 손실을 볼록 문제에서 이론적으로 유계로 제시하여 Adam과 AMSGrad에 비해 핵심적인 이점을 입증한다.
• Atari, CIFAR-10, MNIST 등 다양한 벤치마크에서 Adam에 비해 일관된 성능 향상을 입증한다. 특히 노이즈가 많거나 불안정한 환경에서 두드러진다.

제안 방법

• 운동량 항목에 대한 별도의 업데이트 규칙을 도입함으로써 운동량과 적응형 기울기 스케일링을 분리한다. 이는 적응형 스케일링과 독립적이다.
• 기존의 업데이트 규칙을 수정하여 효과적 학습률을 별도의 적응형 성분이 결정하게 하되, 운동량은 별도로 업데이트한다.
• 적응형 성분에 버퍼 기반의 RMS 정규화를 도입하며, RMSProp과 유사하지만 운동량 동역학과 분리되어 있다.
• 학습률 스케줄링과 가중치 감소를 Adam과 동일한 방식으로 적용하지만, 핵심적인 차이점은 적응형 스케일링이 운동량 업데이트에 영향을 주지 않는다는 점이다.
• 적응형 성분의 버퍼를 유지하기 위해 무작위 교체 전략을 사용하여 계산 효율성을 확보한다.
• Adam과 동일한 수의 초깃값(학습률, 운동량에 대한 beta1, 적응형 스케일링에 대한 beta2)을 유지함으로써 초깃값 설정을 직접 이관할 수 있다.

실험 결과

연구 질문

• RQ1 운동량과 적응성 파라미터가 일치하지 않을 때 Adam 스타일 최적화기에서 불안정성과 발산이 발생하는 원인은 무엇인가?
• RQ2 운동량과 적응성을 Adam 스타일 최적화기에서 분리할 수 있는가? 이는 훈련 안정성과 유연성 향상에 기여하는가?
• RQ3 운동량과 적응성을 분리하면 서명된 기울기 방법과 적응형 기울기 방법 사이의 부드러운 보간이 가능한가?
• RQ4 LaProp의 옹호한 손실은 Adam과 AMSGrad에 비해 어떻게 비교되며, 이는 수렴 성능에 어떤 의미를 갖는가?
• RQ5 LaProp는 다양한 딥러닝 작업에서 일관되게 Adam을 능가하는가? 특히 노이즈가 많거나 불안정한 훈련 환경에서 성능이 뛰어나게 되는가?

주요 결과

• LaProp는 Atari2600 게임과 CIFAR-10 이미지 분류를 포함한 다양한 작업에서 Adam을 일관되게 능가하며, 훈련 안정성이 향상된다.
• Atari2600에서 LaProp는 20개의 게임 전반에서 평균 보상이 더 높고, 학습 곡선이 더 부드럽며, 발산 현상이 관찰되지 않았다.
• CIFAR-10에서 Adam은 $\nu < 0.4$ 이거나 $\nu$가 $\nu$보다 훨씬 작은 경우 자주 발산하지만, LaProp는 동일한 조건에서도 안정성을 유지한다.
• Adam이 발산에 가까워질 때 LaProp는 더 나은 일반화 성능을 보이며, 유사하거나 더 높은 훈련 손실에도 불구하고 더 낮은 검증 손실을 기록한다.
• Adam이 발산하지 않는 경우, 일반적으로 더 낮은 훈련 손실을 달성하지만, LaProp는 더 낮고 안정적인 검증 손실을 유지하여 더 우수한 일반화 성능을 보인다.
• LaProp의 옹호한 손실은 $O(\sqrt{T})$이며, 이는 Adam과 AMSGrad와의 핵심적 차이를 보이며, 더 높은 유연성과 향상된 성능로 이어질 수 있다.