[논문 리뷰] On the Convergence of A Class of Adam-Type Algorithms for Non-Convex Optimization

Xiangyi Chen, Sijia Liu외 2명|arXiv (Cornell University)|2018. 08. 08.

Stochastic Gradient Optimization Techniques인용 수 117

한 줄 요약

논문은 비볼록 최적화에서 Adam-형 적응 경사 방법들의 일관된 수렴 프레임워크를 제시하고, 이 방법들이 정지점으로 수렴하는 조건과 수렴 속도를 O(log T / sqrt(T))로 제시한다. 또한 AdaFom를 도입하고 AMSGrad 및 AdaFom과 같은 일정 모멘텀 변형을 분석한다.

ABSTRACT

This paper studies a class of adaptive gradient based momentum algorithms that update the search directions and learning rates simultaneously using past gradients. This class, which we refer to as the "Adam-type", includes the popular algorithms such as the Adam, AMSGrad and AdaGrad. Despite their popularity in training deep neural networks, the convergence of these algorithms for solving nonconvex problems remains an open question. This paper provides a set of mild sufficient conditions that guarantee the convergence for the Adam-type methods. We prove that under our derived conditions, these methods can achieve the convergence rate of order $O(\\log{T}/\\sqrt{T})$ for nonconvex stochastic optimization. We show the conditions are essential in the sense that violating them may make the algorithm diverge. Moreover, we propose and analyze a class of (deterministic) incremental adaptive gradient algorithms, which has the same $O(\\log{T}/\\sqrt{T})$ convergence rate. Our study could also be extended to a broader class of adaptive gradient methods in machine learning and optimization.

연구 동기 및 목표

• 비볼록 최적화에서 적응형 경사 방법의 연구를 동기화하고 수렴 보장을 이해한다.
• Adam, AMSGrad, AdaGrad, AdaFom, 그리고 SGD 변형들을 포괄하는 일반적인 Ada-타입 알고리즘 프레임워크를 개발한다.
• 수렴을 확보하는 완만하고 실용적인 스텝 사이즈 및 모멘트 파라미터에 대한 조건을 도출하여, 정지점으로의 수렴과 부분선형 속도를 보장한다.
• AdaFom (First Order Momentum이 있는 AdaGrad)를 도입하고 그 수렴 특성을 보여준다.
• 조건의 예리함을 위배될 경우의 잠재적 발산을 제시하여 보인다.
• 상수 모멘텀 설정과 유한합 문제에 대한 적용 가능성을 보여준다.

제안 방법

• m_t = β1,t m_{t-1} + (1−β1,t) g_t 이고 적응식 〈hat{v}〉_t = h_t(g_1,...,g_t)인 일반화된 Adam-형 업데이트를 제안한다.
• 유효 스텝사이즈를 α_t / sqrt(〈hat{v}〉_t)로 정의하고, 이 진동이 수렴에 미치는 영향을 분석한다.
• 그라디언트 내적 합의 상한을 주는 주요 정리를 확립하고 이를 두 항의 증가 A(Term A)와 B(Term B)와 연관시킨다.
• 에 대한 수렴 속도 E[min_{t∈[T]} ||∇f(x_t)||^2] = O(s1(T)/s2(T)) with s1(T) = o(s2(T)).
• α_t = 1/√t인 AMSGrad와 AdaFom에 대한 코릴러리를 제공하고 log T 인자를 포함한 부분선형 속도를 보인다.
• AdaFom(첫 번째 모멘트에만 모멘텀을 추가하는 방식)이 AdaGrad-유사 발산 경향을 수정하는지에 대해 논의한다.

실험 결과

연구 질문

• RQ1 비볼록 설정에서 단계크기와 모멘텀 매개변수에 대한 완만한 조건하에서 Adam-형 알고리즘이 1차 정지점으로 수렴하는가?
• RQ2 유효 스텝사이즈의 진동이 AdaGrad/Adam-형 방법의 수렴과 속도에 어떤 영향을 미치는가?
• RQ3 AdaFom 및 일정 모멘텀을 가지는 AMSGrad 같은 변형들이 수렴을 달성할 수 있으며, 그 속도는 무엇인가?
• RQ4 실무자가 Adam-형 방법의 수렴을 검증하거나 진행 상황을 모니터링하기 위해 사용할 수 있는 실용적 기준은 무엇인가?
• RQ5 관찰된 Adam의 비수렴은 이론적 프레임워크의 Term A 때문인가, 아니면 Term B 때문인가?

주요 결과

• 완만한 가정 하에 일반적인 Adam-형 수렴 프레임워크가 확립되며, 수렴 속도는 O(log T / sqrt(T))이다.
• AdaFom의 수렴이 표준 가정하에 보이고, 반면 바닐라 Adam은 특정 조건에서 발산할 수 있다.
• 상수 모멘텀을 갖는 AMSGrad도 비볼록 설정에서 수렴하며, Adam에 대한 동작을 명확히 한다.
• 해석은 두 가지 중요한 구성요소를 식별한다: Term A(그래디언트 크기의 누적)와 Term B(유효 스텝사이즈의 진동), 이들이 수렴을 좌우하고 실무적 성능 차이를 설명할 수 있다.
• 코릴러리에서 AMSGrad와 AdaFom이 α_t = 1/√t일 때 log T 인자를 포함한 알려진 속도와 일치하는 부분선형 속도를 달성한다.
• 제공된 조건은 촘촘하며 실제 학습에서 수렴을 위한 실용적 모니터링 도구를 제공한다.