[논문 리뷰] Adam: A Method for Stochastic Optimization

Diederik P. Kingma, Jimmy Ba|UvA-DARE (University of Amsterdam)|2014. 12. 22.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 84,466

한 줄 요약

Adam은 편향 보정된 1차 모멘트와 2차 모멘트 추정을 사용하여 매 매개변수 학습률을 적응시키는 기울기 기반의 확률적 최적화 알고리즘으로, 대규모의 희소하고 비정적(non-stationary) 목표에 대해 강건한 성능과 이론적 수렴 보장을 제공합니다.

ABSTRACT

We introduce Adam, an algorithm for first-order gradient-based optimization of stochastic objective functions, based on adaptive estimates of lower-order moments. The method is straightforward to implement, is computationally efficient, has little memory requirements, is invariant to diagonal rescaling of the gradients, and is well suited for problems that are large in terms of data and/or parameters. The method is also appropriate for non-stationary objectives and problems with very noisy and/or sparse gradients. The hyper-parameters have intuitive interpretations and typically require little tuning. Some connections to related algorithms, on which Adam was inspired, are discussed. We also analyze the theoretical convergence properties of the algorithm and provide a regret bound on the convergence rate that is comparable to the best known results under the online convex optimization framework. Empirical results demonstrate that Adam works well in practice and compares favorably to other stochastic optimization methods. Finally, we discuss AdaMax, a variant of Adam based on the infinity norm.

연구 동기 및 목표

• 고차원 매개변수를 가진 확률적 목표에 대해 효율적인 1차 최적화 알고리즘을 제공한다.
• AdaGrad(희소 그래디언트)와 RMSProp(비정상적 목표)의 장점을 하나의 방법으로 결합한다.
• 초기 반복을 안정화하기 위해 편향 보정 추정치(b_m_t 및 b_v_t)를 도입한다.
• 온라인 볼록 최적화에서의 수렴을 분석하고 ML 모델에서의 실용적 효과를 보여준다.

제안 방법

• 기울기의 1st 모멘트(m_t)와 2nd 모멘트(v_t)의 실행 추정치를 beta1과 beta2의 지수적 감쇠를 사용하여 유지한다.
• 제로로 초기화된 것을 보상하기 위해 편향 보정 추정치(b_m_t 및 b_v_t)를 계산한다.
• 파라미터를 theta_t = theta_{t-1} - alpha * b_m_t / (sqrt(b_v_t) + epsilon)로 업데이트한다.
• 무한대(norm 기반)인 AdaMax 변형을 제공하고 순시적 평준화(temporal averaging)와 같은 확장을 논의한다.
• 유효 스텝 크기가 한정되고 대략 alpha에 의해 제어됨을 보이며 자동 어닐링의 한 형태를 제공한다.
• 온라인 볼록 최적화 맥락에서 이론적 수렴 보장(O(sqrt(T)) regret))를 제공합니다.

실험 결과

연구 질문

• RQ1 그래디언트 통계에 따라 매 매개변수별 학습률을 적응시키는 확률적 옵티마이저를 어떻게 설계할 수 있는가?
• RQ2 Adam의 이론적 보장(레그레트 경계)은 온라인 볼록 최적화에서 무엇인가?
• RQ3 다양한 ML 모델과 데이터셋에 걸쳐 Adam이 AdaGrad, RMSProp 및 관련 방법들과 실험적으로 어떻게 비교되는가?
• RQ4 희소 그래디언트의 경우 특히 바이어스 보정 항이 안정성 및 수렴에 미치는 영향은 무엇인가?
• RQ5 AdaMax와 같은 확장 및 순시적 평균과 같은 방법이 실제로 성능을 향상시킬 수 있는가?

주요 결과

• Adam은 로지스틱 회귀, 다층 신경망, CNN에서 다른 1차 방법과 비교하여 성능을 지속적으로 개선하거나 동등하게 유지한다.
• 이 알고리즘은 희소 그래디언트와 비정상적 목표를 잘 처리하여 종종 AdaGrad 및 RMSProp와 동등하거나 그보다 우수한 성능을 보인다.
• 바이어스 보정 항은 특히 높은 희소성이나 큰 초기 스텝 크기에서 안정성에 중요하다.
• Adam은 매 매개변수 학습률 적응이 가능한 강건하고 확장 가능한 최적화를 가능하게 하며, 종종 모멘텀을 포함한 SGD 및 기타 기준선보다 빠르다.
• 이론적 분석은 O(sqrt(T))의 regret 경계를 산출하며, 온라인 볼록 최적화에서 알아낸 최적 해와 비슷하다.
• AdaMax는 무한대 놈을 기반으로 한 안정적인 업데이트를 제공하는 대안 변형이다.