[논문 리뷰] AdaGrad stepsizes: Sharp convergence over nonconvex landscapes

Rachel Ward, Xiaoxia Wu외 1명|arXiv (Cornell University)|2018. 06. 05.

Advanced Optimization Algorithms Research인용 수 136

한 줄 요약

AdaGrad-Norm은 매끄러운 비볼록 최적화에서 정지점에 수렴하며, 확률적 설정에서 O(log(N)/sqrt(N)) 속도, 결정적 설정에서 O(1/N) 속도, 하이퍼파라미터에 강인함.

ABSTRACT

Adaptive gradient methods such as AdaGrad and its variants update the stepsize in stochastic gradient descent on the fly according to the gradients received along the way; such methods have gained widespread use in large-scale optimization for their ability to converge robustly, without the need to fine-tune the stepsize schedule. Yet, the theoretical guarantees to date for AdaGrad are for online and convex optimization. We bridge this gap by providing theoretical guarantees for the convergence of AdaGrad for smooth, nonconvex functions. We show that the norm version of AdaGrad (AdaGrad-Norm) converges to a stationary point at the $\mathcal{O}(\log(N)/\sqrt{N})$ rate in the stochastic setting, and at the optimal $\mathcal{O}(1/N)$ rate in the batch (non-stochastic) setting -- in this sense, our convergence guarantees are 'sharp'. In particular, the convergence of AdaGrad-Norm is robust to the choice of all hyper-parameters of the algorithm, in contrast to stochastic gradient descent whose convergence depends crucially on tuning the step-size to the (generally unknown) Lipschitz smoothness constant and level of stochastic noise on the gradient. Extensive numerical experiments are provided to corroborate our theory; moreover, the experiments suggest that the robustness of AdaGrad-Norm extends to state-of-the-art models in deep learning, without sacrificing generalization.

연구 동기 및 목표

• 정확한 Lipschitz 상수나 노이즈 수준을 조정하지 않고도 강건한 최적화를 촉진하는 목표.
• 스무스하고 비볼록한 설정에서 AdaGrad-Norm의 이론적 수렴 보장을 제시.
• 확률적 및 결정적 수렴 속도를 도출하고 하이퍼파라미터의 영향을 명확히 설명.
• L과 노이즈를 알 수 없는 경우 하이퍼파라미터를 설정하기 위한 실용적 가이드를 제공합니다.

제안 방법

• AdaGrad-Norm 업데이트 정의: x_{j+1} = x_j - (η / b_{j+1}) G_j with b_{j+1}^{2} = b_j^{2} + ||G_j||^{2}.
• G_j가 바운드된 분산과 기울기 노름을 가진 편향되지 않은 기울기 추정기라고 가정하고, ||∇F(x)|| ≤ γ 이다.
• 확률적 및 결정적 설정에 대해 수렴 결과(정리 2.1 및 2.2)를 증명한다.
• Descent Lemma와 보조 한계를 활용하여 b_j와 G_j 사이의 상관된 무작위성을 다룬다.
• 속도 표현을 제공하고 고정 단계 크기를 쓰는 SGD와 비교하여 하이퍼파라미터에 대한 강건함을 강조한다.
• F*가 알려진 경우의 실용적 매개변수 선택 (η = F(x0) − F*)를 제공합니다.

실험 결과

연구 질문

• RQ1 AdaGrad-Norm가 확률적 기울기 하에서 매끄러운 비볼록 F에 대해 정지점으로 수렴하는가?
• RQ2 확률적 및 결정적 설정에서 AdaGrad-Norm의 수렴 속도는 무엇이며 하이퍼파라미터가 그것들에 어떻게 영향을 미치는가?
• RQ3 Lipschitz 상수 L 또는 노이즈 σ를 알지 못해도 AdaGrad-Norm가 임의의 양의 선택인 η 및 b0에 대해 강건한가?
• RQ4 수렴 속도에 있는 상수들이 초기 조건 및 하이퍼파라미터에 어떻게 의존하는가?

주요 결과

• 확률적 설정에서 AdaGrad-Norm는 ε-근사 정지점으로 O(log(N)/sqrt(N)) 속도로 수렴한다.
• 결정적 설정에서 AdaGrad-Norm는 최적의 O(1/N) 속도를 달성한다.
• 수렴은 임의의 η>0 및 b0>0에 대해 성립하므로 하이퍼파라미터 선택에 대한 강인성을 보인다.
• 수렴 상수는 명시적으로 b0 및 η에 의존하며 실용적 매개변수 설정에 대한 가이드가 제공된다.
• 고정 스텝 크기를 갖는 SGD와 비교할 때 AdaGrad-Norm은 사전에 L이나 노이즈 σ를 알 필요 없이 견고한 수렴을 제공한다.