[논문 리뷰] An improvement of the convergence proof of the ADAM-Optimizer

Sebastian Bock, Josef Goppold외 1명|arXiv (Cornell University)|2018. 04. 27.

Stochastic Gradient Optimization Techniques참고 문헌 3인용 수 125

한 줄 요약

이 논문은 ADAM 최적화기의 수렴 증명을 개선하고 원래 Kingma–Ba 증명에서의 간극을 다루며, 명시된 조건하에서 1/√T 수렴을 보여주는 보결명을 제시하되 남아 있는 추측에 주목한다.

ABSTRACT

A common way to train neural networks is the Backpropagation. This algorithm includes a gradient descent method, which needs an adaptive step size. In the area of neural networks, the ADAM-Optimizer is one of the most popular adaptive step size methods. It was invented in \cite{Kingma.2015} by Kingma and Ba. The $5865$ citations in only three years shows additionally the importance of the given paper. We discovered that the given convergence proof of the optimizer contains some mistakes, so that the proof will be wrong. In this paper we give an improvement to the convergence proof of the ADAM-Optimizer.

연구 동기 및 목표

• 신경망 훈련에서 적응적 학습률의 사용을 촉진하고 ADAM 최적화기의 이론적 수렴성을 검토한다.
• Kingma와 Ba의 원래 수렴 증명에서의 실수를 식별하고 해결한다.
• 수렴 분석을 개선하고 증명을 완성시킬 수 있는 추측을 제시한다.

제안 방법

• ADAM 알고리즘과 그 모멘트 추정값(m_t와 v_t) 및 업데이트를 검토한다.
• squared biased moments와 과거 그래디언트에 관한 경계에 대한 추정(Conjecture 4.2)을 도입한다.
• 해의 합 R(T)을 정의하여 최적점으로부터의 누적 편차를 정량화하고 R(T)의 상한을 도출한다(정리 4.4).
• 제한된 그래디언트와 제한된 매개변수 업데이트 하에서 R(T)/T = O(1/√T)임을 보이는 보결명(Corollary 4.5)을 도출한다.
• 업데이트 항목의 구성요소별(좌표별) 분석과 수렴 경계에 대한 기여를 제공한다.

실험 결과

연구 질문

• RQ1 주어진 확률적 업데이트 규칙하에서 ADAM 최적화기가 볼록하고 미분가능한 오차 함수에 대해 수렴하는가?
• RQ2 ADAM 업데이트 하에서 누적 오차 R(T)의 경계와 그것이 T에 따라 어떻게 확장되는가?
• RQ3 그래디언트가 한정되고 가중치 업데이트가 한정될 때 R(T)/T의 1/√T 수렴 속도를 보이는 보결명을 확립할 수 있는가?
• RQ4 원래 ADAM 수렴 증명을 완성하기 위해 필요한 추측이나 누락된 부분은 무엇인가?

주요 결과

• 오차 합 R(T)에 대한 상한이 그래디언트, 학습률, 모멘트 추정값을 포함한 항들을 결합하여 설정된다.
• 주어진 가정하에서 R(T)는 √T 및 (1−λ)^{-2} 등과 관련된 항들로 확장되는 경향의 경계에 있다.
• 보결명 4.5는 R(T)/T = O(1/√T)을 보여주어 제한된 그래디언트와 제한된 가중치 업데이트 하에서 ADAM 방법의 비대선형 수렴 속도를 시사한다.
• 분석은 그래디언트 관련 경계에 대한 추측(Conjecture 4.2)에 의존하며, 원래 증명을 완성하기 위한 남은 미해결 부분으로 언급된다.
• 본 논문은 개선된 수렴 증명을 제시하고 있으며, 추측을 완전히 확정하면 ADAM의 수렴 특성에 대한 신뢰를 강화할 수 있음을 강조한다.