[논문 리뷰] Better Theory for SGD in the Nonconvex World

Ahmed Khaled, Peter Richtárik|arXiv (Cornell University)|2020. 02. 09.

Stochastic Gradient Optimization Techniques참고 문헌 46인용 수 60

한 줄 요약

본 논문은 비볼록 SGD에 대한 확률적 그래디먼트를 모델링하기 위한 일반적인 기대 평활성(ES) 조건을 도입하고, 최적 수렴 속도와 샘플링/압축 스킴 간의 유연성을 증명한다.

ABSTRACT

Large-scale nonconvex optimization problems are ubiquitous in modern machine learning, and among practitioners interested in solving them, Stochastic Gradient Descent (SGD) reigns supreme. We revisit the analysis of SGD in the nonconvex setting and propose a new variant of the recently introduced expected smoothness assumption which governs the behaviour of the second moment of the stochastic gradient. We show that our assumption is both more general and more reasonable than assumptions made in all prior work. Moreover, our results yield the optimal $\mathcal{O}(\varepsilon^{-4})$ rate for finding a stationary point of nonconvex smooth functions, and recover the optimal $\mathcal{O}(\varepsilon^{-1})$ rate for finding a global solution if the Polyak-Łojasiewicz condition is satisfied. We compare against convergence rates under convexity and prove a theorem on the convergence of SGD under Quadratic Functional Growth and convexity, which might be of independent interest. Moreover, we perform our analysis in a framework which allows for a detailed study of the effects of a wide array of sampling strategies and minibatch sizes for finite-sum optimization problems. We corroborate our theoretical results with experiments on real and synthetic data.

연구 동기 및 목표

• 비볼록 SGD에서 확률적 그래디언트의 2차 모멘트를 정확하게 모델링하는 것을 동기로 삼는다.
• SDG 분석의 가장 약한 일반 조건으로 기대 평활성(ES) 가정을 도입한다.
• 실용적인 서브샘플링 및 압축 스킴에서 ES가 성립함을 보인다.
• 일반적인 비볼록 함수에 대해서는 O(ε^-4)의 최적 수렴 속도, 폴리아크-Loojasiewicz(PL) 조건하에서 O(ε^-1) 속도를 도출한다.
• 미니배치 크기 및 중요도 가 sampling에 대한 지침을 제공한다.
• ES 기반 결과를 기존의 볼록/비볼록 수렴 결과와 비교한다.

제안 방법

• 유한합 프레임워크하에서 x에서의 기댓값이 ∇f(x)의 unbiased 추정치인 확률적 그래디언트 g(x)를 정의한다.
• ES 부등식: E[||g(x)||^2] ≤ 2A(f(x)-f_inf) + B||∇f(x)||^2 + C를 제시한다.
• ES가 알려진 가정들 중에서 가장 약한 가정이며, 많은 서브샘플링/압축 스킴에서 자동으로 성립함을 보인다.
• ES 하에서의 SGD 수렴 분석을 개발하고 ε-점근점(ε-stationary point)을 O(ε^-4) 그래디언트 평가로 얻는다.
• PL 조건으로의 확장을 통해 O(ε^-1) 속도를 얻고 QFG 및 볼록성 하에서의 수렴을 논의한다.
• (with/without) replacement, τ-nice와 같은 샘플링 스킴과 ω-압축기와 같은 압축 연산자를 검토하여 ES를 구현한다.

실험 결과

연구 질문

• RQ1 확실한 비볼록 SGD 수렴을 보장하는 확률적 그래디언트의 2차 모멘트에 대한 최소 조건은 무엇인가?
• RQ2 서브샘플링 및 압축과 같은 실용적인 확률적 소스들을 포괄하는 일반적이고 약한 가정이 있는가?
• RQ3 ES 하에서의 SGD 수렴 속도는 무엇이며, PL 또는 볼록 경우의 알려진 최적 속도와 일치하는가?
• RQ4 샘플링 전략과 미니배치 크기가 ES 매개변수 및 결과적 복잡도에 어떤 영향을 미치나?
• RQ5 ES가 전체 그래디언트 하강 및 PL 기반 수렴을 포함한 비볼록 최적화의 기존 결과를 재현하거나 개선할 수 있는가?

주요 결과

• ES를 비볼록 문제의 확률적 그래디언트의 2차 모멘트를 다루는 가장 약한 알려진 조건으로 도입한다.
• ES가 서브샘플링 및 압축과 같은 일반적인 실용 설정에서 자동으로 성립함을 입증한다.
• 일반적인 매끄러운 비볼록 함수에 대해 ε-스테이션리 포인트로의 최적 O(ε^-4) 수렴 속도를 달성한다.
• PL 조건하에서 글로벌 솔루션을 찾는 데 O(ε^-1) 속도를 회복한다.
• ES 내에서 최적의 미니배치 크기 및 중요도 샘플링 확률을 도출하는 프레임워크를 제공한다.
• ES는 BV, M-SG, SG, RG, GC와 같은 여러 기존 그래디언트 노이즈 모델과 관련되거나 이를 포함하되, 더 일반적인 형태를 유지한다.