[논문 리뷰] Decoupled Asynchronous Proximal Stochastic Gradient Descent with Variance Reduction

Zhouyuan Huo, Bin Gu외 1명|arXiv (Cornell University)|2016. 09. 22.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 대규모 기계학습을 위한 분산(variance-reduced) 경사하강법을 사용하는 비동기적 프록시멀 확률적 경사하강법인 DAP-SVRG를 제안한다. 프록시멀 연산을 워커로 이관하고, 분산 감소된 경사하강을 활용함으로써, 강凸 문제에 대해 선형 수렴를 달성하며, 이는 이전의 비동기적 방법들이 보이는 느린 $O(1/T)$ 수렴 속도를 초월하면서도 확장성과 서버 부담 감소를 유지한다.

ABSTRACT

In the era of big data, optimizing large scale machine learning problems becomes a challenging task and draws significant attention. Asynchronous optimization algorithms come out as a promising solution. Recently, decoupled asynchronous proximal stochastic gradient descent (DAP-SGD) is proposed to minimize a composite function. It is claimed to be able to off-loads the computation bottleneck from server to workers by allowing workers to evaluate the proximal operators, therefore, server just need to do element-wise operations. However, it still suffers from slow convergence rate because of the variance of stochastic gradient is nonzero. In this paper, we propose a faster method, decoupled asynchronous proximal stochastic variance reduced gradient descent method (DAP-SVRG). We prove that our method has linear convergence for strongly convex problem. Large-scale experiments are also conducted in this paper, and results demonstrate our theoretical analysis.

연구 동기 및 목표

• 확률적 경사하강법에서의 높은 분산으로 인한 비동기 프록시멀 확률적 경사하강법의 느린 수렴 문제를 해결한다.
• 서버에서의 프록시멀 연산을 워커로 이관하여 반복 속도를 향상시킨다.
• 비동기 분산 환경에서 강凸 문제에 대해 선형 수렴를 달성한다.
• 분산 감소와 분리된 비동기 업데이트를 통합함으로써 대규모 기계학습의 확장성과 효율성을 향상시킨다.

제안 방법

• 분산 감소된 경사하강을 사용하여 확률적 업데이트의 노이즈를 줄이는 비동기 프록시멀 SGD의 변종인 DAP-SVRG를 제안한다.
• 서버에서의 프록시멀 연산을 분리하여 워커가 국소적으로 프록시멀 매핑을 계산할 수 있도록 한다.
• 매 $T$ 반복마다 새로운 기준점 $\tilde{x}$를 사용하여 제어 변수를 계산하는 스크래치샷 메커니즘을 도입한다.
• 시간 지연 $\tau$가 있는 워커에서의 오래된 경사하강을 사용하며, 안정성 분석을 통해 지연의 영향을 제한한다.
• 워커 측에서 $x_{\text{new}} = \text{Prox}_{\eta,h}(x_{\text{old}} - \eta v_t)$를 사용하여 프록시멀 연산자 $\text{Prox}_{\eta,h}(\cdot)$를 적용한다.
• 리아파노프 분석을 통해 수렴성을 확립하며, 기대 최적성 오차가 반복 수와 함께 선형적으로 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 분산 감소와 분리된 비동기 프록시멀 업데이트를 효과적으로 조합하여 더 빠른 수렴을 달성할 수 있는가?
• RQ2 워커로 프록시멀 연산을 이관함으로써 수렴성을 유지하면서 서버 부담을 줄일 수 있는가?
• RQ3 오래된 경사하강과 비미분 정규화가 존재하는 비동기 환경에서 선형 수렴를 보장할 수 있는가?
• RQ4 시간 지연 $\tau$는 수렴에 어떤 영향을 미치며, 안정성을 확보하기 위해 이를 제한할 수 있는가?

주요 결과

• DAP-SVRG는 DAP-SGD가 일정 학습률에서 $O(1/\sqrt{T})$로만 수렴하는 것과 달리, 강凸 문제에 대해 선형 수렴를 달성한다.
• 지연된 경사하강이 존재하는 비동기 업데이트 환경에서도, 지연 $\tau$가 유한한 한계를 갖는다면 선형 수렴를 유지한다.
• 프록시멀 연산을 분리함으로써 서버는 요소별 업데이트만 수행하므로, 계산 오버헤드를 크게 감소시킨다.
• 이론적 분석을 통해 기대 최적성 오차가 반복 수와 함께 선형적으로 감소하며, 수렴 속도는 $\eta$, $L$, $\mu$, $\tau$에 의존함을 보여준다.
• 분산 감소 메커니즘은 $\mathbb{E}\|v_t - \nabla f(x_{d(t)})\|_2^2$ 가 유계임을 보장하며, 이는 선형 수렴를 확보하는 데 핵심적이다.