[논문 리뷰] A Novel Convergence Analysis for Algorithms of the Adam Family

Zhishuai Guo, Yi Xu외 3명|arXiv (Cornell University)|2021. 12. 07.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 Adam 계열 최적화 알고리즘인 Adam, AMSGrad, Adabound를 포함하여, 보편적이고 새로운 수렴 분석을 제안한다. 충분히 크거나 증가하는 동역수 파라미터와 유계인 적응형 스텝 사이즈를 요구함으로써, 약한 확률적 그래디언트 조건 하에서 비볼록 최적화에 대해 수렴을 확립하며, 동시에 그래디언트 추정기의 분산 감소 성질을 증명한다.

ABSTRACT

Since its invention in 2014, the Adam optimizer has received tremendous attention. On one hand, it has been widely used in deep learning and many variants have been proposed, while on the other hand their theoretical convergence property remains to be a mystery. It is far from satisfactory in the sense that some studies require strong assumptions about the updates, which are not necessarily applicable in practice, while other studies still follow the original problematic convergence analysis of Adam, which was shown to be not sufficient to ensure convergence. Although rigorous convergence analysis exists for Adam, they impose specific requirements on the update of the adaptive step size, which are not generic enough to cover many other variants of Adam. To address theses issues, in this extended abstract, we present a simple and generic proof of convergence for a family of Adam-style methods (including Adam, AMSGrad, Adabound, etc.). Our analysis only requires an increasing or large "momentum" parameter for the first-order moment, which is indeed the case used in practice, and a boundness condition on the adaptive factor of the step size, which applies to all variants of Adam under mild conditions of stochastic gradients. We also establish a variance diminishing result for the used stochastic gradient estimators. Indeed, our analysis of Adam is so simple and generic that it can be leveraged to establish the convergence for solving a broader family of non-convex optimization problems, including min-max, compositional, and bilevel optimization problems. For the full (earlier) version of this extended abstract, please refer to arXiv:2104.14840.

연구 동기 및 목표

• 비볼록 딥 러닝 환경에서 Adam 및 그 변종에 대한 엄밀하고 실용적인 수렴 보장을 부족하게 하는 문제를 해결하기 위해.
• 기존 분석이 그래디언트 업데이트나 적응형 스텝 사이즈 행동에 대해 강한 또는 비현실적인 가정에 의존하는 한계를 극복하기 위해.
• 단일이고 단순한 프레임워크를 통해 여러 Adam 스타일 알고리즘의 수렴 분석을 통합하기 위해.
• 이러한 방법에서 사용되는 확률적 그래디언트 추정기의 분산 감소 조건을 확립하기 위해.
• 표준 최소화를 넘어서 미니맥스 및 이중 문제와 같은 더 넓은 최적화 문제 클래스로 수렴 결과의 적용 범위를 확장하기 위해.

제안 방법

• 증가하거나 충분히 큰 동역수 파라미터를 기반으로 하는 새로운 수렴 증명 프레임워크를 제안하며, 이는 실무에서 흔히 만족되는 조건이다.
• 스테핑 사이즈의 적응형 요소에 대한 유계 조건을 도입하며, 이는 약한 확률적 그래디언트 가정 하에서 모든 주요 Adam 변종에서 성립한다.
• 알고리즘에서 사용되는 확률적 그래디언트 추정기의 분산 감소 성질을 활용하여 안정적인 수렴을 보장한다.
• 비볼록 최적화 문제의 넓은 가족에 분석을 적용하며, 이는 미니맥스 및 복합 최적화를 포함한다.
• 특정 알고리즘에 맞춘 유도 과정 없이도 여러 알고리즘(예: Adam, AMSGrad, Adabound)을 통합된 수학적 구조로 분석한다.
• 기존 이론적 연구에서 볼 수 있는 제한적인 조건을 피하면서 최소한의 가정 하에 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 기존 Adam 최적화기 이외의 Adam 계열 알고리즘에 대해 적용 가능한 통합적이고 단순한 수렴 분석을 개발할 수 있는가?
• RQ2 비볼록 설정에서 수렴을 보장하기 위해 동역수와 적응형 스텝 사이즈에 필요한 최소한의 가정은 무엇인가?
• RQ3 실무에서 수렴을 지원하기 위해 확률적 그래디언트 추정기의 분산을 어떻게 제어할 수 있는가?
• RQ4 제안된 분석을 표준 최소화를 넘어서는 비볼록 문제, 예를 들어 미니맥스 및 이중 최적화 문제로 확장할 수 있는가?
• RQ5 기존 이론적 분석은 실무에서 왜 수렴을 보장하지 못하며, 이를 어떻게 보완할 수 있는가?

주요 결과

• 제안된 수렴 분석은 실용적이고 일반적인 가정 하에 Adam, AMSGrad, Adabound 및 기타 변종에 적용 가능하다.
• 동역수 파라미터가 충분히 크거나 증가하는 조건이 만족되면 수렴이 보장되며, 이는 일반적으로 실제 학습 설정에서 충족된다.
• 약한 조건 하에서 확률적 그래디언트에 대한 조건 하에 적응형 스텝 사이즈 요소는 유계를 유지하며, 업데이트 과정의 안정성을 보장한다.
• 이 방법에서 사용되는 확률적 그래디언트 추정기는 분산 감소 성질을 보이며, 이는 수렴을 지원한다.
• 이 분석 프레임워크는 비볼록 문제, 예를 들어 미니맥스 및 이중 최적화 문제로도 일반화할 수 있다.
• 이론적 결과는 이전 분석보다 더 단순하고 실용적이며, 현실 적용 범위를 제한하는 과도하게 제한적인 가정을 피한다.