[논문 리뷰] Hybrid Stochastic Gradient Descent Algorithms for Stochastic Nonconvex Optimization

Quoc Tran-Dinh, Nhan H. Pham외 2명|arXiv (Cornell University)|2019. 01. 01.

Stochastic Gradient Optimization Techniques참고 문헌 28인용 수 22

한 줄 요약

이 논문은 비볼록 스 tochastic 최적화에서 분산과 편향을 줄이기 위해 비편향인 SGD(무작위로 선택된 경사)와 편향이 있는 SARAH을 조합한 하이브리드 스토하스틱 경사 추정기인 HybridSGD-SARAH을 제안한다. 제안된 단일 루프 알고리즘인 HybridSGD-SARAH은 ε-정류점(ε-stationary point)을 찾는 데 O(σε⁻³ + σ³ε⁻¹)의 복잡도를 가지며, 부드러움과 유한한 분산 조건 하에서 σ < O(ε⁻³)일 경우 기존의 SGD보다 성능이 뛰어나다.

ABSTRACT

We introduce a hybrid stochastic estimator to design stochastic gradient algorithms for solving stochastic optimization problems. Such a hybrid estimator is a convex combination of two existing biased and unbiased estimators and leads to some useful property on its variance. We limit our consideration to a hybrid SARAH-SGD for nonconvex expectation problems. However, our idea can be extended to handle a broader class of estimators in both convex and nonconvex settings. We propose a new single-loop stochastic gradient descent algorithm that can achieve $O(\max\{σ^3\varepsilon^{-1},σ\varepsilon^{-3}\})$-complexity bound to obtain an $\varepsilon$-stationary point under smoothness and $σ^2$-bounded variance assumptions. This complexity is better than $O(σ^2\varepsilon^{-4})$ often obtained in state-of-the-art SGDs when $σ&lt; O(\varepsilon^{-3})$. We also consider different extensions of our method, including constant and adaptive step-size with single-loop, double-loop, and mini-batch variants. We compare our algorithms with existing methods on several datasets using two nonconvex models.

연구 동기 및 목표

• 비볼록 스토하스틱 최적화 문제에서 ε-근사 정류점(ε-approximate stationary point)을 효율적으로 찾을 수 있는 새로운 스토하스틱 경사 알고리즘의 클래스를 개발하는 것.
• 편향이 있는 재귀 추정기(SARAH)와 편향이 없는 추정기(SGD)를 조합하여 경사 추정기의 분산과 편향을 줄이는 것.
• 특히 노이즈 수준 σ가 원하는 정밀도 ε에 비해 작을 경우, 최신 기술보다 더 나은 수렴 복잡도를 달성하는 것.
• 최적의 복잡도 범위를 유지하면서 단일 루프, 이중 루프, 적응형 스텝 사이즈, 미니배치 변형으로의 확장 가능성을 확보하는 것.

제안 방법

• SARAH(편향 있음)와 SGD(편향 없음) 추정기의 볼록 조합으로 구성된 하이브리드 스토하스틱 경사 추정기를 제안: vt = βt−1vt−1 + βt−1(∇f(xt;ξt)−∇f(xt−1;ξt)) + (1−βt−1)ut.
• 최근 경사 차이를 활용하는 재귀 업데이트를 통해 혼합 계수 βt를 통해 편향 감소와 분산 제어의 균형을 유지한다.
• 각 반복에서 현재 점, 이전 점, 재귀 업데이트를 위한 세 점에서 경사를 평가하는 단일 루프 알고리즘을 설계한다.
• η = O(m⁻¹ᐟ³)의 스텝 사이즈를 사용하며, 이는 기존의 SGD의 O(m⁻¹ᐟ²)보다 크므로 더 빠른 수렴을 가능하게 한다.
• 스텝 사이즈가 시간이 지남에 따라 증가하는 적응형 스텝 사이즈 변형을 도입하며, 기존의 SGD에서와는 달리 감소하는 스텝 사이즈와 대비된다.
• 이중 루프 및 미니배치 설정으로의 확장을 통해 최적의 복잡도 범위를 유지한다.

실험 결과

연구 질문

• RQ1 편향이 있는(SARAH)과 편향이 없는(SGD) 경사 추정기를 조합한 하이브리드 추정기는 비볼록 스토하스틱 최적화에서 기존의 SGD보다 더 나은 수렴 복잡도를 달성할 수 있는가?
• RQ2 제안된 하이브리드 추정기를 사용한 단일 루프 알고리즘은 σ < O(ε⁻³)일 경우 기존의 SGD보다 나은 O(σε⁻³ + σ³ε⁻¹) 복잡도 범위를 확보하는가?
• RQ3 하이브리드 추정기는 이중 루프, 적응형 스텝 사이즈, 미니배치 변형으로 확장 가능하며, 여전히 최적의 복잡도를 유지하는가?
• RQ4 실제 데이터셋에서 HybridSGD-SARAH의 성능은 SVRG, SpiderBoost, SPIDER와 같은 최신 기술과 비교해 어떻게 되는가?
• RQ5 하이브리드 방법에서 더 큰 스텝 사이즈(O(m⁻¹ᐟ³))는 높은 반복당 비용을 감안할지라도 더 빠른 수렴을 이끌어내는가?

주요 결과

• 제안된 단일 루프 HybridSGD-SARAH 알고리즘은 ε-정류점(ε-stationary point)을 찾는 데 O(σε⁻³ + σ³ε⁻¹)의 복잡도를 달성하며, σ < O(ε⁻³)일 경우 기존의 SGD보다 우수한 성능을 보인다.
• 알고리즘은 반복당 세 번의 경사 평가를 수행하지만, 낮은 노이즈 환경에서 더 나은 복잡도를 확보하여 더 효율적이다.
• 하이브리드 추정기는 SARAH의 재귀적 구조와 SGD의 편향 없는 성질을 조합함으로써 편향과 분산을 동시에 감소시킨다.
• 이중 루프 변형은 O(max{σε⁻³, σ²ε⁻²})의 복잡도를 달성하며, 이는 비볼록 환경에서 스토하스틱 경사 유형 알고리즘의 최신 문헌에서 확보된 최고의 복잡도이다.
• 적응형 스텝 사이즈 변형은 스텝 사이즈가 시간이 지남에 따라 증가하는 경향을 보이며, 기존의 감소하는 스텝 사이즈와 대비되지만 여전히 최적의 수렴 성능을 달성한다.
• 실제 데이터셋(w8a, rcv1, real-sim, epsilon, news20, url_combined)에 대한 수치 실험 결과, HybridSGD-SL과 HybridSGD-ASL은 SGD2와 SVRG보다 더 낮은 훈련 손실와 경사 노름을 기록했으며, 정확도는 유사하거나 더 뛰어나다.