[논문 리뷰] Linear Convergence of Adaptive Stochastic Gradient Descent

Yuege Xie, Xiaoxia Wu외 1명|arXiv (Cornell University)|2019. 08. 28.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 7

한 줄 요약

이 논문은 스 tochastic 최적화에서 AdaGrad-Norm에 대한 처음으로 강건한 선형 수렴 보장을 확립하며, 미리 알려진 smoothness, 강凸성 또는 최소화자 위치에 대한 지식 없이 강凸성 및 Polyak-Łojasiewicz (PL) 함수에 대해 선형 수렴을 증명한다. 핵심 혁신은 균형 잡힌 기울기 노름을 보장하는 Restricted Uniform Inequality of Gradients (RUIG)이며, 이는 초기 조정에 민감하지 않은 이중 단계 수렴 분석을 가능하게 한다.

ABSTRACT

We prove that the norm version of the adaptive stochastic gradient method (AdaGrad-Norm) achieves a linear convergence rate for a subset of either strongly convex functions or non-convex functions that satisfy the Polyak Lojasiewicz (PL) inequality. The paper introduces the notion of Restricted Uniform Inequality of Gradients (RUIG)---which is a measure of the balanced-ness of the stochastic gradient norms---to depict the landscape of a function. RUIG plays a key role in proving the robustness of AdaGrad-Norm to its hyper-parameter tuning in the stochastic setting. On top of RUIG, we develop a two-stage framework to prove the linear convergence of AdaGrad-Norm without knowing the parameters of the objective functions. This framework can likely be extended to other adaptive stepsize algorithms. The numerical experiments validate the theory and suggest future directions for improvement.

연구 동기 및 목표

• 스 tochastic 설정에서 smoothness 또는 강凸성 매개변수에 대한 사전 지식이 없이 AdaGrad-Norm의 선형 수렴을 확립하기 위해.
• 특히 초기 학습률 $ b_0 $에 대한 하이퍼파rameter 조정에 대한 강건성을 이론적으로 보장하기 위해, 스 tochastic 및 배치 설정 모두에서.
• Polyak-Łojasiewicz (PL) 부등식을 만족하는 비凸 함수로 선형 수렴 보장을 확장하기 위해.
• 유계 분산 가정을 피하는 비점근적 선형 수렴을 증명하기 위한 일반적인 이중 단계 프레임워크를 개발하기 위해.
• 다양한 초기 학습률 선택에 대해 안정적인 수렴을 보여주는 수치 실험을 통해 이론을 검증하기 위해.

제안 방법

• 최소화자 주변의 제한된 영역에서 기울기 노름에 대한 균일한 하한을 보장하는 Restricted Uniform Inequality of Gradients (RUIG) 조건을 도입한다.
• 이중 단계 수렴 분석 프레임워크를 제안한다: 첫째, 반복점이 최소화자 주변의 이웃으로 수렴하는 잠재기; 둘째, RUIG 및 목적 함수 조건 하에서의 선형 수렴 단계.
• AdaGrad-Norm 업데이트 규칙을 사용한다: $ b_{j+1}^2 = b_j^2 + \|\nabla f_{\xi_j}(x_j)\|^2 $, 및 $ x_{j+1} = x_j - \frac{\eta}{b_{j+1}} \nabla f_{\xi_j}(x_j) $, 기울기 노름에 대한 적응형 스케일링을 통한 학습률 조정.
• 표준적인 유계 분산 가정을 피하기 위해 RUIG와 목적 함수의 구조에 의존함으로써, 더 날카운 비점근적 경계를 가능하게 한다.
• 스 tochastic 및 배치 설정 모두에 적용하여, 강凸성 함수에 대해 고확률 선형 수렴을 증명하고, PL 함수에 대해 결정론적 선형 수렴을 입증한다.
• 집중 불등식과 마틴게일 추론을 사용하여 $ b_j $ 의 성장을 통제함으로써 안정적이고 빠른 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 AdaGrad-Norm는 smoothness 또는 강凸성 매개변수에 대한 사전 지식 없이 스 tochastic 설정에서 강凸성 함수에 대해 선형 수렴을 달성할 수 있는가?
• RQ2 적응형 스 tochastic 최적화에서 초기 학습률 $ b_0 $ 에 대한 이론적 강건성을 어떻게 보장할 수 있는가?
• RQ3 AdaGrad-Norm의 선형 수렴을 PL 부등식을 만족하는 비凸 함수로 확장할 수 있는가?
• RQ4 유계 분산 가정 없이 강건한 선형 수렴을 가능하게 하는 기울기 노름에 대한 구조적 조건은 무엇인가?
• RQ5 적응형 기울기 방법에 대해 비점근적 선형 수렴을 증명하기 위한 일반적인 이중 단계 프레임워크를 개발할 수 있는가?

주요 결과

• AdaGrad-Norm는 RUIG 조건 하에서 스 tochastic 설정에서 강凸성 함수에 대해 선형 수렴을 달성하며, smoothness 또는 강凸성 매개변수에 대한 지식이 필요하지 않다.
• 수렴 속도는 고확률적으로 선형이며, 오차는 $ \mathcal{O}(\exp(-\kappa T)) $ 로 감소한다. 여기서 $ \kappa $ 는 조건수와 관련이 있다.
• 수치 실험은 AdaGrad-Norm가 다양한 초기 $ b_0 $ 에 대해 안정적인 선형 수렴을 유지하는 반면, 고정 학습률 SGD는 $ b_0 $ 가 너무 작을 경우 발산함을 확인한다.
• 배치 설정에서는 AdaGrad-Norm가 강凸성 및 PL 함수 모두에 대해 결정론적 선형 수렴을 달성하며, 초기화 및 하이퍼파rameter에 대한 강건성을 보여준다.
• AdaGrad-Norm에서 $ b_t $ 의 성장은 임계값에 도달한 후 SGD_const와 동일한데, 적응형 학습률 스케일링 덕분에 수렴 속도는 여전히 뛰어나다.
• 과다 매개변수화된 신경망에 대한 실험은 AdaGrad-Norm가 고정 학습률 GD보다 빠르게 수렴하며, 거의 선형 행동을 보이며, 기울기 성장에 대한 가정 (A3) 을 경험적으로 검증한다.