[논문 리뷰] SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and Interpolation

Robert M. Gower, Othmane Sebbouh외 1명|arXiv (Cornell University)|2020. 06. 18.

Stochastic Gradient Optimization Techniques참고 문헌 50인용 수 6

한 줄 요약

이 논문은 기존의 성장 조건이나 부드러움 조건보다 더 약한 조건인 기대 잔차(Expected Residual, ER) 조건을 도입하여, 구조화된 비볼록 함수에 대한 확률적 경사 하강법(Stochastic Gradient Descent, SGD)의 수렴 보장을 새롭게 확립한다. ER 조건 하에서, 쿼라-볼록 함수에 대해서는 하위선형 수렴을, 폴락-로자예프스키(PL) 함수에 대해서는 선형 수렴을 증명하며, 최적의 미니배치 크기와 데이터를 해석하는 설정에서 최신 기술 수준의 수렴 속도를 달성한다.

ABSTRACT

Stochastic Gradient Descent (SGD) is being used routinely for optimizing non-convex functions. Yet, the standard convergence theory for SGD in the smooth non-convex setting gives a slow sublinear convergence to a stationary point. In this work, we provide several convergence theorems for SGD showing convergence to a global minimum for non-convex problems satisfying some extra structural assumptions. In particular, we focus on two large classes of structured non-convex functions: (i) Quasar (Strongly) Convex functions (a generalization of convex functions) and (ii) functions satisfying the Polyak-Lojasiewicz condition (a generalization of strongly-convex functions). Our analysis relies on an Expected Residual condition which we show is a strictly weaker assumption than previously used growth conditions, expected smoothness or bounded variance assumptions. We provide theoretical guarantees for the convergence of SGD for different step-size selections including constant, decreasing and the recently proposed stochastic Polyak step-size. In addition, all of our analysis holds for the arbitrary sampling paradigm, and as such, we give insights into the complexity of minibatching and determine an optimal minibatch size. Finally, we show that for models that interpolate the training data, we can dispense of our Expected Residual condition and give state-of-the-art results in this setting.

연구 동기 및 목표

• 비볼록 최적화에서 표준 SGD 수렴 이론(느린 하위선형 수렴)과 실제 성능(빠른 전역 수렴) 사이의 격차를 해소한다.
• 유한한 분산 또는 성장 조건보다 더 약한 가정을 도입하여, 구조화된 비볼록 함수에 대한 SGD의 더 날카운 수렴 보장을 제공한다.
• 상수, 감소, 스토하스틱 폴락 단계 크기 규칙 등 다양한 단계 크기 규칙과 임의의 샘플링 프레임워크 하에서 SGD를 분석한다.
• 미니배치 SGD의 최적의 미니배치 크기와 복잡도 한계를 결정한다.
• 학습 데이터를 해석하는 모델에 대해 최신 기술 수준의 수렴 결과를 확립하며, 이 설정에서는 ER 조건이 더 이상 필요로 하지 않는다는 것을 보여준다.

제안 방법

• 강력한 성장 조건 또는 기대 부드러움과 같은 이전 조건보다 더 약한 조건인 기대 잔차(Expected Residual, ER) 조건을 통합적이고 엄밀히 더 약한 가정으로 도입한다.
• ER 조건 하에서 두 클래스의 함수에 대해 SGD가 전역 최소값으로 수렴함을 증명한다: 쿼라-볼록 함수와 PL-정규화된 함수.
• ER 조건을 사용하여 상수, 감소, 스토하스틱 폴락 단계 크기 규칙에 대한 수렴 속도를 유도한다.
• 임의의 샘플링 프레임워크 하에서, ER 및 부드러움 파rameter에 대한 미니배치 전용 상수를 유도함으로써, 임의의 샘플링에 대한 미니배치를 분석한다.
• 해석 모델에서는 ER 조건이 더 이상 필요로 하지 않으며, 단지 PL 조건만으로도 선형 수렴이 가능함을 입증한다.
• 임의의 샘플링 프레임워크를 사용하여, 쿼라-볼록 함수 및 PL 함수에 대해 반복 복잡도 한계와 최적의 미니배치 크기를 유도한다.

실험 결과

연구 질문

• RQ1 SGD는 분산이나 성장 조건에 대한 유한성 가정보다 더 약한 가정 하에서 구조화된 비볼록 함수에 대해 전역 수렴을 달성할 수 있는가?
• RQ2 기대 잔차(ER) 조건은 강력한 성장 조건 또는 기대 부드러움과 비교할 때 일반성과 날카움 측면에서 어떻게 다른가?
• RQ3 쿼라-볼록 함수 및 PL 함수에 대해 ER 조건 하에서 SGD의 최적의 미니배치 크기와 반복 복잡도는 무엇인가?
• RQ4 해석 설정에서는 ER 조건을 생략할 수 있으며, 이 경우 달성 가능한 수렴 속도는 무엇인가?
• RQ5 다양한 단계 크기 규칙(상수, 감소, 스토하스틱 폴락)이 ER 조건 하에서 수렴에 어떻게 영향을 미치는가?

주요 결과

• 쿼라-볼록 함수에 대해 ER 조건 하에서 SGD는 수렴 속도가 $\mathcal{O}(1/\sqrt{k})$이며, 이는 이전 최신 기술 수준의 성능을 유지하거나 초월한다.
• PL 함수에 대해서는, 유한한 분산이나 성장 조건을 가정하지 않고도 ER 조건만으로도 이웃 영역으로 선형 수렴을 달성한다.
• ER 조건은 강력한 성장 조건, 약한 성장 조건, 기대 부드러움보다 엄밀히 더 약하며, 해석된 함수나 $x^*$-볼록 함수를 포함한 더 넓은 비볼록 함수의 클래스에 대해 성립한다.
• 미니배치 SGD의 경우, 문제의 파라미터에 따라 최적의 미니배치 크기를 유도하여 반복 복잡도를 최소화한다.
• 해석 설정(예: 과다 매개변수화된 모델)에서는 ER 조건이 더 이상 필요로 하지 않으며, 단지 PL 조건만으로도 선형 수렴이 증명된다.
• ER 조건 하에서 경사 하강법의 이론적 반복 복잡도는 알려진 결과에 비해 최적화되지 않았음을 보여주며, 이는 SGD 분석에서 ER 조건의 필요성을 강조한다.