[논문 리뷰] Convergence of Adam Under Relaxed Assumptions

Haochuan Li, Alexander Rakhlin외 1명|arXiv (Cornell University)|2023. 04. 27.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 일반화된 비균일 평탄성 조건과 기울기 유한성 가정 없이, Adam 최적화기의 $ε$-정류점 수렴 보장을 처음으로 확립한다. 저자들은 기울기 유한성은 가정이 아니라 결과로 도출하는 새로운 증명 기법을 통해 $Ó(\epsilon^{-4})$ 기울기 복잡도를 증명하였으며, 더 나아가 분산 감소 기반의 변형을 제안하여 $Ó(\epsilon^{-3})$ 복잡도를 달성한다.

ABSTRACT

In this paper, we provide a rigorous proof of convergence of the Adaptive Moment Estimate (Adam) algorithm for a wide class of optimization objectives. Despite the popularity and efficiency of the Adam algorithm in training deep neural networks, its theoretical properties are not yet fully understood, and existing convergence proofs require unrealistically strong assumptions, such as globally bounded gradients, to show the convergence to stationary points. In this paper, we show that Adam provably converges to $ε$-stationary points with ${O}(ε^{-4})$ gradient complexity under far more realistic conditions. The key to our analysis is a new proof of boundedness of gradients along the optimization trajectory of Adam, under a generalized smoothness assumption according to which the local smoothness (i.e., Hessian norm when it exists) is bounded by a sub-quadratic function of the gradient norm. Moreover, we propose a variance-reduced version of Adam with an accelerated gradient complexity of ${O}(ε^{-3})$.

연구 동기 및 목표

• 비볼록 최적화에서 Adam 최적화기의 경험적 성공과 이론적 이해 간 격차를 메우기 위해.
• 기존 Adam 수렴 증명에서 비현실적인 전역 기울기 유한성 가정을 제거하기 위해.
• 지역 헤시안 노름이 기울기 노름의 비제곱 함수로 유 bounds되는 일반화된 평탄성 조건 하에서 수렴을 확립하기 위해.
• 더 현실적인 조건 하에서 $ε$-정류점 수렴에 대해 차원에 영향을 받지 않는 기울기 복잡도를 확보하기 위해.
• 더 빠른 수렴 속도를 달성하기 위해 분산 감소 기반의 Adam 변형을 제안하고 분석하기 위해.

제안 방법

• 기본적인 전역 리프시츠 평탄성 조건을 완화하기 위해, 지역 헤시안 노름이 기울기 노름의 비제곱 함수로 유 bounds되는 일반화된 평탄성 가정을 도입한다.
• 기울기 유한성은 가정이 아니라 일반화된 평탄성과 노이즈 조건의 결과로 도출하는 새로운 증명 기법을 개발한다.
• 고확률 농도 경계와 마르코프 부등식을 사용하여 큰 기울기 또는 비최적의 반복값이 발생할 확률을 제어한다.
• STORM 알고리즘의 영감을 받아 모멘타움 업데이트 규칙을 수정하여 분산 감소 기반의 Adam 변형을 제안한다.
• 개별 성분 함수 $f(\cdot, \xi)$에 대한 추가적인 일반화된 평탄성 가정 하에서 새로운 알고리즘을 분석한다.
• 기울기 유한성 결과를 활용해 Adam의 분석을 AdaBound의 분석으로 단순화함으로써, 더 완화된 조건 하에서의 수렴 증명을 간소화한다.

실험 결과

연구 질문

• RQ1 기울기의 전역 유한성 또는 리프시츠 연속 기울기 가정 없이, Adam이 $ε$-정류점으로 수렴함을 증명할 수 있는가?
• RQ2 지역 평탄성이 기울기 노름에 대해 비제곱적으로 증가하는 일반화된 비균일 평탄성 조건이 Adam의 수렴에 충분한가?
• RQ3 이러한 완화된 가정 하에서 Adam의 기울기 복잡도가 $Ó(\epsilon^{-4})$로 유지되는가?
• RQ4 분산 감소 기법을 성공적으로 Adam에 통합하여 $Ó(\epsilon^{-3})$ 수렴 속도를 달성할 수 있는가?
• RQ5 기울기 유한성은 최적화 과정의 결과로 도출할 수 있는가, 가정이 아니라?

주요 결과

• 논문은 일반화된 평탄성 조건 하에서 기울기 유한성 가정 없이도 Adam이 $ε$-정류점으로 수렴함을 증명하며, 이 경우 기울기 복잡도는 $Ó(\epsilon^{-4})$이다.
• 새로운 증명 기법을 통해, 전역 리프시츠 조건이 없더라도 기울기 노름이 고확률적으로 유한하게 유지됨을 입증한다.
• 기울기 유한성은 일반화된 평탄성 조건과 노이즈 가정의 결과로 도출되며, 이는 일반적으로 가정되는 조건을 증명 가능한 결과로 전환한다.
• 제안된 분산 감소 기반의 Adam 변형은 성분 함수에 대한 추가적인 일반화된 평탄성 가정 하에서 개선된 기울기 복잡도 $Ó(\epsilon^{-3})$ 를 달성한다.
• 분석 결과, 더 강한 가정 하에서의 최선의 수렴 속도와 동일한 성능을 달성함으로써, 조건 완화 하에서도 수렴 성능이 뛰어나다는 것을 보여준다.
• 결과는 차원에 영향을 받지 않으며, 중심화되고 유한한 기울기 노이즈 조건 하에서 성립하므로, 딥 러닝의 확률적 최적화에 적용 가능하다.