[논문 리뷰] mS2GD: Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting

Jakub Konečný, Jie Liu외 2명|arXiv (Cornell University)|2014. 10. 17.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 강하게 볼록 복합 함수를 최소화하기 위해 미니배치 버전의 반-스토케스틱 경사하강법인 mS2GD을 제안한다. 이는 분산 감소와 미니배칭을 조합하여 수렴 속도를 높인다. 이론적으로 미니배칭이 주어진 정확도에서 경사 평가에 대해 선형 초과 속도를 제공함을 증명하며, 동시에 효율적인 병렬 처리도 가능하다.

ABSTRACT

We propose a mini-batching scheme for improving the theoretical complexity and practical performance of semi-stochastic gradient descent applied to the problem of minimizing a strongly convex composite function represented as the sum of an average of a large number of smooth convex functions, and simple nonsmooth convex function. Our method first performs a deterministic step (computation of the gradient of the objective function at the starting point), followed by a large number of stochastic steps. The process is repeated a few times with the last iterate becoming the new starting point. The novelty of our method is in introduction of mini-batching into the computation of stochastic steps. In each step, instead of choosing a single function, we sample $b$ functions, compute their gradients, and compute the direction based on this. We analyze the complexity of the method and show that the method benefits from two speedup effects. First, we prove that as long as $b$ is below a certain threshold, we can reach predefined accuracy with less overall work than without mini-batching. Second, our mini-batching scheme admits a simple parallel implementation, and hence is suitable for further acceleration by parallelization.

연구 동기 및 목표

• 대규모 최적화에서 경사 평가 비용을 줄이기 위해 S2GD 알고리즘의 미니배치 확장 기법을 개발한다.
• 프록시 설정에서 미니배치된 반-스토케스틱 경사하강법의 이론적 복잡도를 분석한다.
• 미니배칭이 목표 정확도를 달성하기 위한 경사 평가에서 선형 스케일링을 초월한 속도 향상을 제공하는지 입증한다.
• 고성능 계산 환경에서 효율적인 병렬 구현을 가능하게 하기 위해 고려된 미니배치 기반 설계를 제공한다.

제안 방법

• 초기 점에서 결정론적 경사 계산을 수행한 후, 크기가 $ b $ 인 미니배치를 사용하는 다중 스토케스틱 단계를 수행한다.
• 각 반복 단계에서 $ b $ 개의 함수를 샘플링하고, 그들의 경사를 계산한 후 이전 반복의 기준점과 함께 분산 감소된 스토케스틱 경사를 구성한다.
• 알고리즘은 프록시 업데이트 규칙을 사용한다: $ y_{k+1} = \operatorname{prox}_{hR}(y_k - h v_k) $, 여기서 $ v_k $ 는 미니배치 분산 감소 경사 추정치이다.
• 스텝 사이즈 $ h $ 와 내부 루프 길이 $ m $ 는 총 작업량을 최소화하면서 선형 수렴을 보장하도록 최적화된다.
• 새로운 미니배치 분산 감소 항 $ \alpha(b) = \frac{n-b}{b(n-1)} $ 이 도입되며, 이는 경사 추정치의 편향 보정을 제어한다.
• 각 미니배치 내 경사 계산이 독립적으로 수행될 수 있으므로, 알고리즘은 자연스럽게 병렬 처리가 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 프록시 설정에서 미니배칭을 분산 감소 스토케스틱 경사하강법과 효과적으로 융합하여 총 작업량을 줄일 수 있는가?
• RQ2 주어진 정확도를 달성하기 위해 경사 평가에서 미니배칭이 선형 스케일링을 초월한 속도 향상을 제공하는가?
• RQ3 미니배치 변형은 수렴 보장을 유지하면서도 효율적인 병렬 처리가 가능한가?
• RQ4 최적의 스텝 사이즈와 내부 루프 길이가 미니배치 크기 $ b $ 에 따라 어떻게 달라지는가?

주요 결과

• 미니배치 크기 $ b $ 가 특정 임계값 이하일 경우, 고정 정확도에서 경사 평가에 대해 선형 초과 속도를 달성한다.
• 이론적 분석 결과, 수렴 속도 $ \rho $ 는 $ b $ 가 증가함에 따라 감소하며, $ m_*^b $ (최적 내부 루프 길이) 는 $ 1/b $ 보다 더 빠르게 감소함을 보여, 작업량 감소를 시사한다.
• $ b=1 $ 인 경우, 수렴 속도는 기존 Prox-SVRG의 알려진 속도를 회복하며, 이는 기존 연구 결과와의 일致성을 입증한다.
• 최적 스텝 사이즈 $ h_*^b $ 는 $ \tilde{h}^b = \sqrt{\left(\frac{1+\rho}{\rho\mu}\right)^2 + \frac{1}{4\mu\alpha(b)L}} - \frac{1+\rho}{\rho\mu} $ 로 유도되며, 조건 $ \tilde{h}^b \leq \frac{1}{L} $ 를 충족해야 한다.
• RCV1 데이터셋에서의 실험 결과, $ b=8 $ 인 mS2GD는 동일한 정확도를 달성하기 위해 S2GD보다 더 적은 경사 평가를 수행하며, 이는 이론적 이상 속도 향상($ b $ 배 감소)에 가까워진다.
• 이론적 및 실험적 증거를 통해 고성능 계산 환경에서의 실제 병렬 처리가 가능하며, 시계 시간이 감소함을 확인하였다.