[논문 리뷰] Parallelizing Stochastic Approximation Through Mini-Batching and Tail-Averaging.

Prateek Jain, Sham M. Kakade외 3명|arXiv (Cornell University)|2016. 10. 12.

Stochastic Gradient Optimization Techniques참고 문헌 4인용 수 13

한 줄 요약

이 논문은 최소 제곱 회귀에서 미니배치 및 꼬리 평균화된 확률적 경사 하강법(SGD)에 대해 처음으로 날카운 비점근적 일반화 오차 경계를 제공한다. 미니배칭을 통한 증명 가능한 거의 선형적 속도 향상을 확립하고, 거의 동일한 순차적 업데이트 수로 최적의 통계 오차를 달성하는 고도로 병렬화 가능한 SGD 변형을 제안하며, 이는 악성 노이즈 환경에서 최적의 스텝 사이즈가 노이즈 특성에 따라 달라져야 한다는 것을 드러낸다.

ABSTRACT

This work characterizes the benefits of averaging techniques widely used in conjunction with stochastic gradient descent (SGD). In particular, this work sharply analyzes: (1) mini-batching, a method of averaging many samples of the gradient to both reduce the variance of a stochastic gradient estimate and for parallelizing SGD and (2) tail-averaging, a method involving averaging the final few iterates of SGD in order to decrease the variance in SGD’s final iterate. This work presents the first tight non-asymptotic generalization error bounds for these schemes for the stochastic approximation problem of least squares regression. Furthermore, this work establishes a precise problem-dependent extent to which mini-batching can be used to yield provable near-linear parallelization speedups over SGD with batch size one. These results are utilized in providing a highly parallelizable SGD algorithm that obtains the optimal statistical error rate with nearly the same number of serial updates as batch gradient descent, which improves significantly over existing SGD-style methods. Finally, this work sheds light on some fundamental differences in SGD’s behavior when dealing with agnostic noise in the (non-realizable) least squares regression problem. In particular, the work shows that the stepsizes that ensure optimal statistical error rates for the agnostic case must be a function of the noise properties. The central analysis tools used by this paper are obtained through generalizing the operator view of averaged SGD, introduced by Defossez and Bach (2015) followed by developing a novel analysis in bounding these operators to characterize the generalization error. These techniques may be of broader interest in analyzing various computational aspects of stochastic approximation.

연구 동기 및 목표

• 스토케스틱 근사에서 분산을 줄이고 병렬 처리를 가능하게 하는 미니배칭과 꼬리 평균화의 이점을 규명하기 위해.
• 최소 제곱 회귀의 맥락에서 이러한 기법들에 대한 비점근적 일반화 오차 경계를 수립하기 위해.
• 미니배칭이 표준 SGD(배치 크기가 1인 경우)에 비해 증명 가능한 거의 선형적 속도 향상을 얼마나 잘 달성할 수 있는지 평가하기 위해.
• 최소한의 순차적 계산으로 최적의 통계 오차를 달성하는 고도로 병렬화 가능한 SGD 알고리즘을 개발하기 위해.
• 악성 노이즈가 SGD 수렴에 어떤 영향을 미치는지 이해하고, 노이즈 특성에 따라 달라지는 최적의 스텝 사이즈를 규명하기 위해.

제안 방법

• Def로세스와 바흐(2015)가 처음 제안한 평균화된 SGD의 연산자 시각화를 확장하여, 미니배치 및 꼬리 평균화된 SGD의 동역학을 분석한다.
• 독립적 및 종속적인 데이터 설정 하에서 평균화된 SGD의 일반화 오차를 특성화하기 위해 새로운 연산자 경계 기법을 개발한다.
• 연산자 이론적 도구를 사용하여, 미니배칭과 꼬리 평균화의 수렴 및 분산 감소 성질을 분석한다.
• 수렴 속도를 유지하면서도 거의 선형적 속도 향상을 가능하게 하는 미니배칭의 범위에 대한 문제 의존적 경계를 유도한다.
• 최적의 통계 오차를 달성하면서도 순차적 업데이트 수를 줄이는 데 초점을 맞춘, 미니배칭과 꼬리 평균화를 결합한 새로운 알고리즘 프레임워크를 제안한다.
• 악성 노이즈가 SGD에 미치는 영향을 분석하기 위해, 노이즈 특성에 따라 달라지는 스텝 사이즈 스케줄을 유도함으로써 최적의 오차율을 확보한다.

실험 결과

연구 질문

• RQ1 스토케스틱 근사에서 수렴 속도를 훼손하지 않고, 미니배칭을 얼마나 잘 활용하여 증명 가능한 거의 선형적 속도 향상을 달성할 수 있는가?
• RQ2 꼬리 평균화와 미니배칭이 최소 제곱 회귀에서 일반화 오차에 어떻게 동시에 영향을 미치는가?
• RQ3 악성 노이즈가 존재하는 상황에서 SGD의 최적 스텝 사이즈 스케줄은 무엇이며, 이는 노이즈 특성에 어떻게 의존하는가?
• RQ4 최적의 통계 오차율을 달성하면서도 배치 경사 하강법과 거의 동일한 순차적 업데이트 수로 고도로 병렬화 가능한 SGD 변형을 설계할 수 있는가?
• RQ5 이 연구에서 개발된 연산자 이론적 도구는 평균화된 SGD 기법에 대해 일반화 오차 경계를 얼마나 더 날카롭게 특성화할 수 있는가?

주요 결과

• 논문은 최소 제곱 회귀에서 미니배치 및 꼬리 평균화된 SGD에 대해 처음으로 날카운 비점근적 일반화 오차 경계를 수립한다.
• 문제 의존 조건 하에서, 미니배칭이 표준 SGD(배치 크기가 1인 경우)에 비해 증명 가능한 거의 선형적 속도 향상을 제공할 수 있음을 증명한다.
• 순차적 업데이트 수가 배치 경사 하강법과 유사한 수준에서 최적의 통계 오차율을 달성하는 고도로 병렬화 가능한 새로운 SGD 알고리즘을 제안한다.
• 분석 결과, 악성 노이즈 설정에서 최적의 스텝 사이즈는 노이즈 특성에 따라 명시적으로 조정되어야 최고의 일반화 성능을 달성할 수 있음을 드러냈다.
• 제안된 연산자 기반 분석 프레임워크는 이전 방법들에 비해 평균화된 SGD 변형에 대해 일반화 오차를 더 날카롭게 특성화한다.
• 꼬리 평균화가 최종 SGD 반복의 분산을 크게 감소시켜, 비실현 설정에서의 일반화 성능 향상에 기여한다는 것이 입증되었다.