[논문 리뷰] Convergence Analysis of a Momentum Algorithm with Adaptive Step Size for Non Convex Optimization

Anas Barakat, Pascal Bianchi|arXiv (Cornell University)|2019. 11. 18.

Stochastic Gradient Optimization Techniques참고 문헌 54인용 수 8

한 줄 요약

이 논문은 비볼록 최적화를 위한 모멘타ム 기반 적응형 기울기 알고리즘을 분석하며, 상한이 있는 스텝 크기를 사용하여 결정론적 및 확률론적 설정 모두에서 최소 제곱 기울기 노름의 수렴 속도가 O(1/n)임을 증명한다. 또한 커르디카-로자예프스키(Kurdyka-Łojasiewicz, KŁ) 성질을 바탕으로 함수 값 수렴을 확립하여, 적응형 방법에서 이러한 결과를 처음으로 제시한다.

ABSTRACT

Although ADAM is a very popular algorithm for optimizing the weights of neural networks, it has been recently shown that it can diverge even in simple convex optimization examples. Several variants of ADAM have been proposed to circumvent this convergence issue. In this work, we study the ADAM algorithm for smooth nonconvex optimization under a boundedness assumption on the adaptive learning rate. The bound on the adaptive step size depends on the Lipschitz constant of the gradient of the objective function and provides safe theoretical adaptive step sizes. Under this boundedness assumption, we show a novel first order convergence rate result in both deterministic and stochastic contexts. Furthermore, we establish convergence rates of the function value sequence using the Kurdyka-Lojasiewicz property.

연구 동기 및 목표

• 비볼록 최적화에서 널리 쓰이는 적응형 방법들(예: Adam)의 이론적 수렴 보장 부족 문제를 해결한다.
• Adam의 볼록 설정에서의 발산 문제를 해결하기 위해 상한이 있는 적응형 스텝 크기를 도입한다.
• 상한이 있는 스텝 크기 가정 하에 결정론적 및 확률론적 비볼록 최적화의 수렴 속도를 확립한다.
• 적응형 최적화에서 커르디카-로자예프스키(KŁ) 성질을 사용하여 목적 함수 값의 수렴 속도 분석을 처음으로 제공한다.
• 기존의 유한 기울기 가정을 완화하고 차원에 영향을 받지 않는 수렴 결과를 도출한다.

제안 방법

• 기울기의 리프시츠 상수를 사용하여 상한이 있는 좌표 기반 적응형 스텝 크기를 갖는 모멘타움 알고리즘을 제안한다.
• 결정론적 경우에서 최소 제곱 기울기 노름의 O(1/n) 수렴 속도를 증명하기 위해 리아푸노프 함수를 도입한다.
• 스토하스틱 최적화로 분석을 확장하기 위해 스트로하스틱 기울기의 분산을 제한하고 상한이 있는 스텝 크기 조건을 유지한다.
• 커르디카-로자예프스키(KŁ) 부등식을 적용하여 목적 함수 값 수열의 수렴 속도를 유도한다.
• 변수 변환(z_n)과 리아푸노프 함수 H를 사용하여 KŁ 조건 하에서의 수렴 행동을 분석한다.
• KŁ 지수 θ에 따라 선형 또는 비선형 수렴을 확립하며, 적분 부등식과 함수 변환을 통해 명시적인 감쇠 속도를 도출한다.

실험 결과

연구 질문

• RQ1 상한이 있는 적응형 스텝 크기가 비볼록 최적화에서 모멘타움 알고리즘의 수렴을 보장할 수 있는가?
• RQ2 상한이 있는 스텝 크기 하에서 결정론적 적응형 모멘타움 방법의 최소 제곱 기울기 노름 수렴 속도는 얼마인가?
• RQ3 스토하스틱 설정에서 기울기의 분산이 유한할 경우 수렴 속도는 어떻게 확장되는가?
• RQ4 커르디카-로자예프스키(KŁ) 성질을 활용하여 적응형 최적화에서 목적 함수의 수렴 속도를 도출할 수 있는가?
• RQ5 제안된 방법은 기울기가 유한하다는 가정보다 약한 조건 하에서도 차원에 영향을 받지 않는 수렴을 달성하는가?

주요 결과

• 리아푸노프 함수를 사용하여 결정론적 설정에서 최소 제곱 기울기 노름의 O(1/n) 수렴 속도를 확보한다.
• 스토하스틱 설정에서는 스트로하스틱 기울기의 분산이 유한하고 스텝 크기가 거의 확실히 유한하다는 가정 하에 수렴 속도가 O(1/n)임을 입증한다.
• 수렴 결과는 매개변수 차원 d에 영향을 받지 않으며, 기울기가 유한하다는 가정을 완화한다.
• KŁ 성질의 지수 θ ∈ (0, 1/2] 조건 하에서 목적 함수는 θ에 따라 선형 또는 비선형 수렴 속도를 보인다.
• θ = 1/2일 경우 선형 수렴이며, θ < 1/2일 경우 수렴 속도는 O(k^{1/(2θ−1)})로 비선형이지만 명시적이다.
• 분석을 통해 KŁ 성질을 사용한 적응형 최적화 알고리즘의 첫 번째 수렴 속도 결과를 확립하였으며, 비볼록 설정에서 적응형 방법의 이론적 기반을 제공한다.