[논문 리뷰] Stochastic Variance Reduction for Nonconvex Optimization

Sashank J. Reddi, Ahmed Hefny외 3명|arXiv (Cornell University)|2016. 03. 19.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 242

한 줄 요약

이 논문은 SVRG를 이용한 비볼록 유한합 최적화의 비점근적 수렴을 SGD와 그래디언트 디센트보다 빠르게 증명하고, 그래디언트-지배적 하위집합에 대해 선형 수렴을 보인다.

ABSTRACT

We study nonconvex finite-sum problems and analyze stochastic variance reduced gradient (SVRG) methods for them. SVRG and related methods have recently surged into prominence for convex optimization given their edge over stochastic gradient descent (SGD); but their theoretical analysis almost exclusively assumes convexity. In contrast, we prove non-asymptotic rates of convergence (to stationary points) of SVRG for nonconvex optimization, and show that it is provably faster than SGD and gradient descent. We also analyze a subclass of nonconvex problems on which SVRG attains linear convergence to the global optimum. We extend our analysis to mini-batch variants of SVRG, showing (theoretical) linear speedup due to mini-batching in parallel settings.

연구 동기 및 목표

• 비볼록 유한합 문제에 대한 확률적 분산 감소 그래디언트(VR) 방법을 동기화하고 분석합니다.
• SVRG의 비점근적 수렴 속도를 SGD와 그래디언트 디센트보다 개선하여 정한다.
• SVRG가 비볼록 문제의 하위집합(그래디언트-지배)에 대해 선형 수렴을 달성하는 조건을 식별합니다.
• 미니배치 SVRG를 조사하고 병렬 설정에서 선형 가속을 입증합니다.
• 비볼록 및 볼록 시나리오 모두에서 SGD, 그래디언트 디센트, SVRG 간의 비교와 통찰을 제공합니다.

제안 방법

• Lipschitz-스무딩 구성요소를 갖는 f(x) = (1/n) ∑ f_i(x) 최적화를 Incremental First-order Oracle (IFO) 모델하에서 연구합니다.
• 참조 점에서 전체 기울기를 계산하고 내부적으로 확률적 업데이트를 수행하는 epoch 단위의 비볼록 SVRG(Algorithm 2)를 분석합니다.
• 적절한 매개변수 선택 하에서 E[||∇f(x_a)||^2] ≤ (f(x^0) - f(x^*))/(T γ_n) 같은 수렴 보장을 유도합니다.
• 명시적 IFO 복잡도를 얻기 위한 스텝 사이즈와 epoch 길이에 대한 매개변수 선택을 도입합니다.
• 미니배치 SVRG(Algorithm 4)로 확장하여 분산 감소와 병렬성 이점을 보여줍니다.
• SGD-유사 및 GD-유사 동작 사이의 스텝-사이즈 균형을 갖춘 변형(Msvrg)을 제시하여 IFO 복잡도를 개선합니다.

실험 결과

연구 질문

• RQ1 SVRG가 유한합 문제에서 SGD와 그래디언트 디센트보다 빠른 비볼록 수렴 속도를 달성할 수 있는가?
• RQ2 어떤 매개변수 조건 하에서 SVRG가 그래디언트-지배적 비볼록 함수에 대해 증명 가능한 선형 수렴을 달성하는가?
• RQ3 미니배칭이 SVRG의 수렴에 어떤 영향을 주며 병렬 환경에서 선형 가속을 제공할 수 있는가?
• RQ4 비볼록 및 볼록 영역에서 SVRG의 IFO 복잡도를 SGD 및 그래디언트 디센트와 비교하면 어떠한가?

주요 결과

• SVRG는 비볼록 유한합 문제에 대해 SGD 및 그래디언트 디센트보다 더 빠르게 정지점에 수렴하며, 특정 영역에서 n^{1/3}에 관련된 요인으로 개선이 나타난다.
• 비볼록 SVRG의 경우 ε-정확도에 도달하기 위한 IFO 복잡도는 O(n + n^{1/3}/ε) 또는 O(n + n^{α}/ε)로 스케일하며, 최적 의존성은 α = 2/3에서 달성된다.
• 그래디언트-지배(τ-그래디언트 지배) 비볼록 함수에 대해 SVRG는 전역 선형 수렴을 달성하고 IFO 복잡도는 O((n + τ n^{2/3}) log(1/ε))로 스케일한다.
• SVRG와 함께 미니배칭은 배치 크기 b < n^{2/3}일 때 병렬 설정에서 선형 가속을 제공하며, 전체 IFO 호출 수를 늘리지 않고 IFO 모델에서 O(n + n^{2/3}/ε) 복잡도를 제공한다.
• 변형 Msvrg는 유리한 스텝-사이즈를 결합하여 특정 가정(σ-제한된 기울기) 아래에서 SGD 및 GradientDescent보다 더 나은 IFO 복잡도를 얻는다.
• 논문은 볼록 사례 분석도 제공하여 SVRG가 IFO 복잡도에서 O(1/ε) 속도를 달성하고, 맞춤 매개변수 선택으로 더 나은 속도에 도달할 수 있음을 보여준다.