[논문 리뷰] Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification

Prateek Jain, Sham M. Kakade외 3명|arXiv (Cornell University)|2016. 10. 12.

Stochastic Gradient Optimization Techniques인용 수 89

한 줄 요약

이 논문은 최소 제곱 회귀에 대한 확률적 경사 하강법(SGD)에서 미니배치와 꼬리 평균화의 유한 표본 분석을 제공하며, 미니배치를 통한 증명 가능한 거의 선형적 속도 향상을 입증하고, 잘못 지정된 모델에서 노이즈 특성에 따라 달라지는 문제에 종속된 스텝 크기 경계를 도출한다. 또한 몇 차례의 순차적 업데이트만으로 최소 최대 위험을 달성하는 매우 병렬화 가능한 SGD 변종을 제안한다.

ABSTRACT

This work characterizes the benefits of averaging schemes widely used in conjunction with stochastic gradient descent (SGD). In particular, this work provides a sharp analysis of: (1) mini-batching, a method of averaging many samples of a stochastic gradient to both reduce the variance of the stochastic gradient estimate and for parallelizing SGD and (2) tail-averaging, a method involving averaging the final few iterates of SGD to decrease the variance in SGD's final iterate. This work presents non-asymptotic excess risk bounds for these schemes for the stochastic approximation problem of least squares regression. Furthermore, this work establishes a precise problem-dependent extent to which mini-batch SGD yields provable near-linear parallelization speedups over SGD with batch size one. This allows for understanding learning rate versus batch size tradeoffs for the final iterate of an SGD method. These results are then utilized in providing a highly parallelizable SGD method that obtains the minimax risk with nearly the same number of serial updates as batch gradient descent, improving significantly over existing SGD methods. A non-asymptotic analysis of communication efficient parallelization schemes such as model-averaging/parameter mixing methods is then provided. Finally, this work sheds light on some fundamental differences in SGD's behavior when dealing with agnostic noise in the (non-realizable) least squares regression problem. In particular, the work shows that the stepsizes that ensure minimax risk for the agnostic case must be a function of the noise properties. This paper builds on the operator view of analyzing SGD methods, introduced by Defossez and Bach (2015), followed by developing a novel analysis in bounding these operators to characterize the excess risk. These techniques are of broader interest in analyzing computational aspects of stochastic approximation.

연구 동기 및 목표

• 최소 제곱 회귀에 대한 SGD에서 미니배치와 꼬리 평균화의 이점을 규명하는 것.
• 이러한 평균화 기법에 대한 유한 표본 일반화 오차 경계를 수립하는 것.
• 미니배치가 거의 선형적 병렬 처리 속도 향상을 가져오는 문제에 종속된 조건을 도출하는 것.
• 모델 오지정이 SGD에서 최적의 스텝 크기 선택에 미치는 영향을 분석하는 것.
• 최소 최대 위험을 거의 순차적 업데이트 수와 동일하게 달성하는 매우 병렬화 가능한 SGD 방법을 개발하는 것.

제안 방법

• 논문은 Défossez와 Bach(2015)의 접근을 확장하여, SGD 반복의 분산과 편향을 분석하기 위해 연산자 이론적 프레임워크를 사용한다.
• SGD 업데이트 동역학을 나타내는 선형 연산자의 역을 특성화함으로써 일반화 오차를 경계하는 데 사용되는 새로운 연산자 분석을 도입한다.
• 스토크래틱 경사의 이阶 성질을 모델링하기 위해 입력 데이터의 헤시안 H와 네 번째 모멘트 텐서 M을 통합한다.
• 꼬리 평균화는 최종 반복의 가중 평균으로 공식화되어 최종 추정량의 분산을 감소시킨다.
• 일반화 효율성의 작업-깊이 트레이드오프를 정의한다. 여기서 작업은 총 계산량이고 깊이(depth)는 순차적 업데이트 수이다.
• 모델 평균화에 대해 비점근적 초과 위험 경계를 유도한다. 이는 통신 효율적인 병렬화 방식이다.

실험 결과

연구 질문

• RQ1 미니배치는 최소 제곱 회귀에서 SGD의 일반화 오차와 병렬 처리 효율성에 어떻게 영향을 미치는가?
• RQ2 유한 표본 조건 하에서 미니배치가 SGD에서 거의 선형적 속도 향상을 얼마나 정확히 가능하게 하는가?
• RQ3 모델 오지정은 SGD에서 최적의 스텝 크기 선택에 어떻게 영향을 미치며, 노이즈 특성은 어떤 역할을 하는가?
• RQ4 꼬리 평균화는 최종 SGD 반복의 분산을 크게 감소시킬 수 있으며, 이에 대한 이론적 초과 위험 경계는 무엇인가?
• RQ5 비실현적인 최소 제곱 문제에서 최소 최대 위험을 달성하기 위해 필요한 최소 순차적 업데이트 수는 얼마인가?

주요 결과

• 미니배치를 통해 최소 제곱 회귀에 대한 SGD에서 증명 가능한 거의 선형적 속도 향상이 가능하며, 속도 향상의 정도는 헤시안과 네 번째 모멘트 텐서와 같은 문제 특성에 따라 달라진다.
• 오지정된 경우 최적의 스텝 크기는 노이즈 특성에 따라 달라지며, 잘 지정된 경우에 비해 차원 수 d의 요소만큼 오차가 발생하는 스텝 크기 경계가 존재한다.
• 꼬리 평균화는 최종 반복의 분산을 감소시키며, 본 논문은 이 방법에 대해 비점근적 초과 위험 경계를 제공한다.
• 최소 최대 위험을 거의 배치 경사 하강법과 동일한 순차적 업데이트 수로 달성하는 매우 병렬화 가능한 SGD 방법을 제안한다.
• 분석 결과, 잘 지정된 모델과 오지정된 모델 간에 SGD의 행동에 근본적인 차이가 있으며, 특히 허용 가능한 최대 스텝 크기에서 두드러진다.
• 논문은 초과 위험의 주요 분산 항이 데이터 모멘트와 스텝 크기에 따라 달라지는 연산자 T_b^{-1}Σ의 트레이스에 의해 결정됨을 입증한다.