[논문 리뷰] AdaGrad stepsizes: Sharp convergence over nonconvex landscapes, from any initialization

Rachel Ward, Xiaoxia Wu외 1명|arXiv (Cornell University)|2018. 06. 05.

Stochastic Gradient Optimization Techniques인용 수 68

한 줄 요약

이 논문은 비볼록 최적화에서 AdaGrad-Norm의 날카운 수렴 보장을 수립한다. 스 tochastic 환경에서는 수렴 속도가 𝒪(log(N)/√N)이며, 배치 환경에서는 𝒪(1/N)이다. 이는 스텝사이즈 조정이 필요하지 않다. SGD와 달리 AdaGrad-Norm는 하이퍼파ram터 선택에 대해 강건하여 다양한 초기화 및 노이즈 수준에서도 효과적이다.

ABSTRACT

Adaptive gradient methods such as AdaGrad and its variants update the stepsize in stochastic gradient descent on the fly according to the gradients received along the way; such methods have gained widespread use in large-scale optimization for their ability to converge robustly, without the need to fine-tune the stepsize schedule. Yet, the theoretical guarantees to date for AdaGrad are for online and convex optimization. We bridge this gap by providing theoretical guarantees for the convergence of AdaGrad for smooth, nonconvex functions. We show that the norm version of AdaGrad (AdaGrad-Norm) converges to a stationary point at the $\mathcal{O}(\log(N)/\sqrt{N})$ rate in the stochastic setting, and at the optimal $\mathcal{O}(1/N)$ rate in the batch (non-stochastic) setting -- in this sense, our convergence guarantees are 'sharp'. In particular, the convergence of AdaGrad-Norm is robust to the choice of all hyper-parameters of the algorithm, in contrast to stochastic gradient descent whose convergence depends crucially on tuning the step-size to the (generally unknown) Lipschitz smoothness constant and level of stochastic noise on the gradient. Extensive numerical experiments are provided to corroborate our theory; moreover, the experiments suggest that the robustness of AdaGrad-Norm extends to state-of-the-art models in deep learning, without sacrificing generalization.

연구 동기 및 목표

• 이전의 보장이 볼록 및 온라인 설정에 국한되어 있던 AdaGrad의 비볼록 최적화에서의 수렴 이론적 이해 격차를 메우기 위해.
• 부드러운 비볼록 함수에 대해 스 tochastic 및 배치 설정 모두에서 AdaGrad-Norm의 수렴 속도를 수립하기 위해.
• SGD는 알려지지 않은 스무스니스 및 노이즈 수준에 맞춰 스텝사이즈를 정밀하게 조정이 필요로 하는 데 반해, AdaGrad-Norm의 수렴이 하이퍼파ram터 선택에 대해 강건함을 보여주기 위해.
• 딥러닝 모델을 대상으로 광범위한 수치 실험을 통해 이론적 결과를 검증하기 위해.
• AdaGrad-Norm의 강건성이 최신 딥러닝 모델에서 일반화 성능을 떨어뜨리지 않는지 보여주기 위해.

제안 방법

• 스텝사이즈를 누적된 기울기 노름으로 정규화함으로써 적응적이고 안정적인 업데이트를 보장하는 AdaGrad-Norm의 변형을 제안한다.
• 기울기의 기대 노름을 제한함으로써 스 tochastic 설정에서의 수렴을 분석하여, 𝒪(log(N)/√N) 수렴 속도를 도출한다.
• 부드러움과 리프시츠 기울기 가정을 사용하여 배치(비스 tochastic) 설정에서 최적의 𝒪(1/N) 수렴 속도를 확립한다.
• 초기화, 하이퍼파ram터 값, 기울기 추정의 노이즈 수준에 관계없이 성립하는 이론적 경계를 유도한다.
• 기울기 노름과 스텝사이즈 적응의 시간에 따른 변화를 추적하는 새로운 분석 프레임워크를 활용한다.
• ResNet과 트랜스포머를 포함한 딥러닝 모델에서 광범위한 수치 실험을 통해 이론적 주장의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 이전의 이론적 결과가 볼록 또는 온라인 설정에 국한되어 있음에도 불구하고, AdaGrad-Norm는 비볼록 최적화에서 수렴 보장을 달성할 수 있는가?
• RQ2 부드러운 비볼록 함수에 대해 스 tochastic 및 배치 설정에서 AdaGrad-Norm의 수렴 속도는 무엇인가?
• RQ3 SGD가 알려지지 않은 스무스니스 및 노이즈 수준에 맞춰 스텝사이즈를 정밀하게 조정이 필요로 하는 데 반해, AdaGrad-Norm는 하이퍼파ram터 선택 및 초기화에 대해 얼마나 강건한가?
• RQ4 AdaGrad-Norm의 이론적 강건성이 일반화 성능을 떨어뜨리지 않고 실제 딥러닝 모델로까지 확장되는가?
• RQ5 배치 설정에서 AdaGrad-Norm는 최적의 수렴 속도를 달성할 수 있으며, 표준 SGD와 비교해 어떻게 다른가?

주요 결과

• 스 tochastic 설정에서 AdaGrad-Norm는 𝒪(log(N)/√N) 속도로 정류점에 수렴하며, 이는 비볼록 스 tochastic 최적화의 알려진 하한값과 일치한다.
• 배치 설정에서는 AdaGrad-Norm가 최적의 수렴 속도인 𝒪(1/N)를 달성한다. 이는 부드러운 비볼록 함수에 대해 제1차 방법으로서 얻을 수 있는 가장 빠른 속도이다.
• AdaGrad-Norm의 수렴은 초기화, 스텝사이즈, 노이즈 수준 등 모든 하이퍼파ram터에 대해 강건하다. 반면 SGD는 이를 정밀하게 조정이 필요로 한다.
• 수치 실험 결과, AdaGrad-Norm는 ResNet 및 트랜스포머 아키텍처를 포함한 다양한 딥러닝 모델에서 뛰어난 성능을 유지함을 확인하였다.
• 모델 정확도를 희생시키지 않고 일반화 성능을 유지함으로써, AdaGrad-Norm가 강건성과 정확도의 조화를 이룬다는 점을 보여준다.
• 이론적 분석 결과, AdaGrad-Norm의 적응적 스텝사이즈 메커니즘이 기울기 변동성을 내재적으로 고려함으로써 수동 조정 없이 안정적인 수렴을 가능하게 한다.