[논문 리뷰] Learning-Rate-Free Learning by D-Adaptation

Aaron Defazio, Konstantin Mishchenko|arXiv (Cornell University)|2023. 01. 18.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 최적 해에 대한 初기 거리의 하한을 유지함으로써 확률적 경사하강법(SGD) 및 Adam 변종에 대해 학습률을 자동으로 조정하는 초파rameter-free 최적화 방법인 D-Adaptation을 소개한다. 이 방법은 선형 탐색이나 추가적인 기울기 평가 없이 볼록 리프시츠 함수에 대해 최적의 O(1/√n) 수렴 속도를 달성하며, 시각, 자연어 처리(NLP), 추천 시스템 등 다양한 머신러닝 작업에서 수작업으로 조정된 학습률과 동등한 성능을 보인다.

ABSTRACT

D-Adaptation is an approach to automatically setting the learning rate which asymptotically achieves the optimal rate of convergence for minimizing convex Lipschitz functions, with no back-tracking or line searches, and no additional function value or gradient evaluations per step. Our approach is the first hyper-parameter free method for this class without additional multiplicative log factors in the convergence rate. We present extensive experiments for SGD and Adam variants of our method, where the method automatically matches hand-tuned learning rates across more than a dozen diverse machine learning problems, including large-scale vision and language problems. An open-source implementation is available.

연구 동기 및 목표

• 볼록 리프시츠 함수에 대한 확률적 최적화에서 수작업 학습률 조정이 필요 없도록 하는 것.
• 추가적인 함수 평가나 백트래킹 없이 최적의 O(1/√n) 수렴 속도를 달성하는 방법을 개발하는 것.
• 초기 해에 대한 거리 정보가 필요한 기존 적응형 방법들(예: AdaGrad-Norm)의 초파rameter-free 대안을 제공하는 것.
• 대규모 시각 및 언어 모델를 포함한 다양한 머신러닝 문제에서 자동이고 강건한 성능을 보장하는 것.
• 관측된 기울기를 사용하여 최적 해에 대한 거리의 동적 하한을 설정하는 이론적으로 탄탄한 적응형 학습률 전략을 도출하는 것.

제안 방법

• D-Adaptation는 기울기 노름의 역수에 대한 러닝 추정치를 기반으로 하는 적응형 스텝 사이즈를 사용하는 가중 평균의 이중화를 활용한다.
• 누적 기울기와 스텝 사이즈를 포함한 새로운 하한을 사용하여 초기 거리 D = ||x₀ − x*||에 대한 하한 ˆdk를 유지한다.
• 스텝 사이즈와 누적 기울기의 제곱을 기반으로 하한 ˆdk+1를 업데이트하는 공식 ˆdk+1 = (γk+1||sk+1||² − Σγi d²i ||gi||²)/(2||sk+1||)을 사용한다. 여기서 sk+1는 누적 기울기이다.
• 더 낫은 추정치 ˆdk+1를 발견할 경우, 하한 dk를 동적으로 증가시켜 점점 최적의 수렴 속도에 수렴하도록 보장한다.
• Adam 변종의 경우, 기울기의 지수이동평균(EMA)을 적응시키고, EMA의 제곱 기울기 기반으로 정규화된 스텝 사이즈를 사용한다.
• 관측된 기울기와 누적 합만을 기반으로 하여 선형 탐색과 추가 기울기 평가를 피한다.

실험 결과

연구 질문

• RQ1 초파라미터가 없는 최적화 방법이 선형 탐색이나 추가 함수 평가 없이 볼록 리프시츠 함수에 대해 최적의 O(1/√n) 수렴 속도를 달성할 수 있는가?
• RQ2 관측된 기울기와 스텝 사이즈만을 사용하여 최적 해에 대한 초기 거리에 대한 하한을 어떻게 적응적으로 추정할 수 있는가?
• RQ3 D-Adaptation는 시각, NLP 및 추천 시스템을 포함한 다양한 머신러닝 작업에서 수작업 조정된 학습률의 성능을 따라잡거나 초월하는가?
• RQ4 D-Adaptation의 이론적 수렴 보장은 무엇이며, AdaGrad-Norm와 같은 기존 적응형 방법과 비교해 볼 때 어떻게 다른가?
• RQ5 이 방법은 Adam 변종으로 확장될 수 있으며, 이론적 수렴성과 실증적 성능을 유지할 수 있는가?

주요 결과

• D-Adaptation는 추가적인 로그 인자 없이 볼록 리프시츠 함수에 대해 최적의 O(DG/√n) 수렴 속도를 달성하며, 최악의 경우 하한과 일치한다.
• 점점 수렴하는 설정에서는 O(DG/√n + 1) 수렴 속도를 보이며, 관측된 기울기 추적을 통해 D에 대한 하한이 시간이 지남에 따라 향상된다.
• 비점점 수렴 설정에서는 O(DG log₂⁺(D/d₀)/√n)로 수렴 속도가 제한되며, 고정된 d₀를 사용하는 기준 기반 하강법보다 현저히 우수하다.
• 실험 결과, D-Adaptation는 시각 및 언어 모델를 포함한 십여 개 이상의 다양한 머신러닝 문제에서 수작업 조정된 학습률의 성능을 따라잡거나 초월한다.
• D-Adaptation의 Adam 변종는 수작업 학습률 조정 없이도 강력한 성능을 유지하며, 다양한 작업에서의 강건성을 입증한다.
• 이론적 분석 결과, D에 대한 하한은 점점 D/(1+√3)로 하한이 설정되며, 이는 최적의 수렴 속도로 수렴함을 보장한다.