[논문 리뷰] Convergence of AdaGrad for Non-convex Objectives: Simple Proofs and Relaxed Assumptions

Bohan Wang, Huishuai Zhang외 2명|arXiv (Cornell University)|2023. 05. 29.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 더이상 강한 가정이 필요로 하지 않는 조건 하에서 비볼록 최적화를 위한 AdaGrad의 수렴 분석을 단순화하며, 기울기와 적응형 학습률의 동역학을 분리하기 위해 새로운 보조 함수 ξ를 도입한다. 이는 아핀 노이즈 분산과 유한한 부드러움 조건 하에서 AdaGrad가 ε-근사 정적점에 도달하기 위해 O(1/ε²) 반복 복잡도를 달성함을 보여주며, 이는 SGD와 동일하다. 또한, 더 현실적인 (L₀, L₁)-부드러움 조건으로의 수렴을 확장하고, 핵심 학습률 임계값을 규명한다.

ABSTRACT

We provide a simple convergence proof for AdaGrad optimizing non-convex objectives under only affine noise variance and bounded smoothness assumptions. The proof is essentially based on a novel auxiliary function $ξ$ that helps eliminate the complexity of handling the correlation between the numerator and denominator of AdaGrad's update. Leveraging simple proofs, we are able to obtain tighter results than existing results \citep{faw2022power} and extend the analysis to several new and important cases. Specifically, for the over-parameterized regime, we show that AdaGrad needs only $\mathcal{O}(\frac{1}{\varepsilon^2})$ iterations to ensure the gradient norm smaller than $\varepsilon$, which matches the rate of SGD and significantly tighter than existing rates $\mathcal{O}(\frac{1}{\varepsilon^4})$ for AdaGrad. We then discard the bounded smoothness assumption and consider a realistic assumption on smoothness called $(L_0,L_1)$-smooth condition, which allows local smoothness to grow with the gradient norm. Again based on the auxiliary function $ξ$, we prove that AdaGrad succeeds in converging under $(L_0,L_1)$-smooth condition as long as the learning rate is lower than a threshold. Interestingly, we further show that the requirement on learning rate under the $(L_0,L_1)$-smooth condition is necessary via proof by contradiction, in contrast with the case of uniform smoothness conditions where convergence is guaranteed regardless of learning rate choices. Together, our analyses broaden the understanding of AdaGrad and demonstrate the power of the new auxiliary function in the investigations of AdaGrad.

연구 동기 및 목표

• 비볼록 목표 함수를 위한 AdaGrad의 수렴 분석을 단순화하고 강화하기.
• 기존의 유한 부드러움 가정을 완화하여 더 현실적인 (L₀, L₁)-부드러움 조건 하에서도 분석 가능하도록 하기.
• AdaGrad의 더 날카운 반복 복잡도 한계를 확립하여 SGD의 O(1/ε²) 수율과 일치시키기.
• (L₀, L₁)-부드러움 조건 하에서 학습률에 필요한 조건을 규명하여, 이것이 항상 수렴하지는 않음을 보여주기.
• 새로운 보조 함수 ξ가 적응형 최적화기 분석을 단순화하는 데 유용함을 보여주기.

제안 방법

• AdaGrad 업데이트 규칙의 분자와 분모를 분리하기 위해 새로운 보조 함수 ξ를 도입하기.
• ξ를 사용하여 복잡한 상관관계 처리 없이 정적점 향한 진전을 추적할 수 있는 리아푸노프 유사 함수 유도하기.
• 보조 함수를 적용하여 아핀 노이즈 분산과 유한한 부드러움 조건 하에서 수렴 증명하기.
• (L₀, L₁)-부드러움으로의 분석 확장 — 국소 부드러움이 기울기 노름에 따라 증가함.
• (L₀, L₁)-부드러움 조건 하에서 수렴을 위해 학습률이 임계값 이하여야 함을 증명하기.
• (L₀, L₁)-부드러움 조건 하에서 학습률 조건의 必要성은 모순에 의한 증명을 통해 규명하기.

실험 결과

연구 질문

• RQ1 이전 연구보다 더 단순한 가정 하에서 AdaGrad의 수렴을 증명할 수 있는가?
• RQ2 비볼록 환경에서 AdaGrad는 SGD와 동일한 반복 복잡도를 달성하는가?
• RQ3 유한한 부드러움 가정을 (L₀, L₁)-부드러움으로 완화해도 수렴 보장이 유지되는가?
• RQ4 (L₀, L₁)-부드러움 조건 하에서 학습률 선택이 수렴에 중요한가?
• RQ5 통합된 분석 프레임워크는 AdaGrad와 같은 적응형 최적화기 연구를 단순화할 수 있는가?

주요 결과

• AdaGrad는 ε-근사 정적점에 도달하기 위해 O(1/ε²) 반복 복잡도를 달성하며, 이는 SGD와 동일하며 이전의 O(1/ε⁴) 한계보다 향상되었다.
• 보조 함수 ξ의 도입 덕분에 수렴 증명이 크게 단순화되었으며, 이는 기울기와 적응형 학습률 항을 분리시킨다.
• (L₀, L₁)-부드러움 조건 하에서 AdaGrad는 학습률이 문제에 따라 정의된 임계값 이하일 때만 수렴한다.
• (L₀, L₁)-부드러움 조건 하에서 학습률 임계값은 필수적이다 — 이 값을 초과하면 수렴에 실패한다. 이는 유한 부드러움 케이스와는 다름.
• (L₀, L₁)-부드러움 조건는 국소 부드러움이 기울기 노름에 따라 증가할 수 있게 하여 딥러닝에 더 현실적인 조건이다.
• 보조 함수 ξ는 더 날카운 일반화된 수렴 분석을 가능하게 하며, 적응형 최적화 이론에서의 강력한 도구임을 입증한다.