[논문 리뷰] Accelerating Stochastic Gradient Descent For Least Squares Regression

Prateek Jain, Sham M. Kakade외 3명|arXiv (Cornell University)|2017. 04. 26.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 25

한 줄 요약

이 논문은 최소 제곱 회귀에 대해 표준 확률적 경사 하강법(SGD)보다 더 빠르게 최소 최대 최적 통계적 리스크를 달성하는 가속화된 확률적 경사 하강법(ASGD)을 제안한다. ASGD를 확률적 과정으로 엄밀히 분석하고 새로운 잠재 함수를 도입함으로써, 저자들은 가속화가 통계적 오차에 대해 강건함을 증명하며, 초과 리스크의 수렴 속도가 $\mathcal{O}^*\left(\exp\left(-n/\sqrt{\kappa\widetilde{\kappa}}\right)\right)$로 더 빠르게 수렴함을 보였다. 이는 비가속화 방법보다 뛰어나다.

ABSTRACT

There is widespread sentiment that it is not possible to effectively utilize fast gradient methods (e.g. Nesterov's acceleration, conjugate gradient, heavy ball) for the purposes of stochastic optimization due to their instability and error accumulation, a notion made precise in d'Aspremont 2008 and Devolder, Glineur, and Nesterov 2014. This work considers these issues for the special case of stochastic approximation for the least squares regression problem, and our main result refutes the conventional wisdom by showing that acceleration can be made robust to statistical errors. In particular, this work introduces an accelerated stochastic gradient method that provably achieves the minimax optimal statistical risk faster than stochastic gradient descent. Critical to the analysis is a sharp characterization of accelerated stochastic gradient descent as a stochastic process. We hope this characterization gives insights towards the broader question of designing simple and effective accelerated stochastic methods for more general convex and non-convex optimization problems.

연구 동기 및 목표

• 빠른 경사 방법(예: 네스테로프 가속화)이 오차 누적으로 인해 확률적 최적화에서 불안정하다는 전통적 믿음을 도전하기 위해.
• 최소 제곱 회귀에서 최소 최대 최적 통계적 리스크를 더 빠르게 달성하는 계산적으로 효율적인 스트리밍 알고리즘을 설계하기 위해.
• 가속화된 확률적 경사 하강법을 확률적 과정으로서 정밀하게 특성화하여 통계적 노이즈에 대한 강건성을 가능하게 하기 위해.
• 가장자기 잠재 함수와 과정 수준 분석을 통해 가속화가 확률적 환경에서 효과적으로 작용할 수 있음을 입증하기 위해.

제안 방법

• 최소 제곱 회귀에 특화된 모멘텀과 분산 감소 기법을 통합한 새로운 가속화된 확률적 경사 하강법(ASGD) 알고리즘을 제안한다.
• ASGD의 오차에서의 편향과 분산 성분을 분석하기 위해 새로운 잠재 함수를 도입하여 수렴에 대한 엄밀한 제어를 가능하게 한다.
• ASGD 반복을 확률적 과정으로 분석하고, 행렬 섭동 이론과 스펙트럼 분해를 사용하여 반복값의 공분산에 대한 경계를 도출한다.
• 텐서 기반 분해를 사용하여 초과 리스크의 편향과 분산 성분을 분리함으로써 정밀한 오차 특성화를 가능하게 한다.
• 오차가 지수적으로 감소하는 버닝 인 단계 분석을 수립하여, 이후 통계적 오차가 지배하게 된다고 보여준다.
• 행렬 노름 경계와 고유값 분석을 활용하여 오차 항의 성장을 제어하며, 특히 노이즈와 조건 수 영향 하에서의 성장을 다룬다.

실험 결과

연구 질문

• RQ1 가속화된 경사 방법은 확률적 최적화에서 통계적 오차에 대해 강건하게 만들 수 있는가?
• RQ2 최소 제곱 회귀에서 표준 SGD보다 더 빠르게 최소 최대 최적 통계적 리스크를 달성할 수 있는가?
• RQ3 비점근 설정에서 가속화된 확률적 경사 하강법의 편향과 분산 성분을 정밀하게 특성화할 수 있는가?
• RQ4 ASGD의 확률적 과정 행동이 더 빠른 수렴 속도를 달성하는 데 어떤 역할을 하는가?
• RQ5 가속화된 확률적 방법의 오차 역학을 엄밀히 경계할 수 있는 잠재 함수를 설계할 수 있는가?

주요 결과

• 제안된 ASGD 방법은 초과 리스크 $\mathcal{O}^*\left(\exp\left(-n/\sqrt{\kappa\widetilde{\kappa}}\right)\right)$를 달성하며, 이는 표준 SGD의 $\mathcal{O}(1/n)$ 속도보다 더 빠르게 감소한다.
• 이 방법은 최소 최대 최적 통계적 리스크 $\mathcal{O}(\sigma^2 d / n)$를 증명적으로 달성하며, 대규모 표본 근처에서 경험 리스크 최소화자(ERM)와 일치한다.
• 분석 결과, 버닝 인 단계 이후의 주요 오차는 통계적으로 최적이며, 주요 항은 $\mathcal{O}(\sigma^2 d / n)$이다.
• 알고리즘은 $\mathcal{O}(d)$의 메모리 프로파일을 유지하여 스트리밍 및 대규모 환경에 적합하다.
• 표준 SGD 대비 수렴 속도가 $\sqrt{\kappa\widetilde{\kappa}}$의 요소로 가속화되며, 여기서 $\kappa$는 조건 수이고 $\widetilde{\kappa}$는 통계적 조건 수이다.
• 이 방법은 통계적 노이즈에 강건하며, 분산 오차는 $\mathcal{O}(\sigma^2 d / n)$로 경계되며, 편향 오차는 $\sim 1/\sqrt{\kappa\widetilde{\kappa}}$의 비율로 지수적으로 감소한다.