[논문 리뷰] Accelerated Linear Convergence of Stochastic Momentum Methods in Wasserstein Distances

Bugra Can, Mert Gürbüzbalaban외 1명|arXiv (Cornell University)|2019. 01. 22.

Stochastic Gradient Optimization Techniques참고 문헌 47인용 수 18

한 줄 요약

이 논문은 노이즈가 있는 기울기로 구성된 1차 오рак루 모델 하에서, 스 tochastic momentum 방법—특히 Nesterov의 가속 경사하강(AG), Polyak의 무거운 공(HB), 그리고 가속 투영 경사하강(APG)—에 대해 1-Wasserstein 거리에서 최초로 선형 수렴 속도를 확립한다. 노이즈 분산이 유도된 임계값 이하일 경우, AG가 불변 분포 주변의 $\varepsilon$ 이내의 이웃 영역으로 $O(\sqrt{\kappa}\log(1/\varepsilon))$ 속도로 선형 수렴함을 증명하고, 스텝 사이즈, 모멘타움, 노이즈 내성 간의 상호 상관관계를 정량화한다.

ABSTRACT

Momentum methods such as Polyak's heavy ball (HB) method, Nesterov's accelerated gradient (AG) as well as accelerated projected gradient (APG) method have been commonly used in machine learning practice, but their performance is quite sensitive to noise in the gradients. We study these methods under a first-order stochastic oracle model where noisy estimates of the gradients are available. For strongly convex problems, we show that the distribution of the iterates of AG converges with the accelerated $O(\sqrtκ\log(1/\varepsilon))$ linear rate to a ball of radius $\varepsilon$ centered at a unique invariant distribution in the 1-Wasserstein metric where $κ$ is the condition number as long as the noise variance is smaller than an explicit upper bound we can provide. Our analysis also certifies linear convergence rates as a function of the stepsize, momentum parameter and the noise variance; recovering the accelerated rates in the noiseless case and quantifying the level of noise that can be tolerated to achieve a given performance. In the special case of strongly convex quadratic objectives, we can show accelerated linear rates in the $p$-Wasserstein metric for any $p\geq 1$ with improved sensitivity to noise for both AG and HB through a non-asymptotic analysis under some additional assumptions on the noise structure. Our analysis for HB and AG also leads to improved non-asymptotic convergence bounds in suboptimality for both deterministic and stochastic settings which is of independent interest. To the best of our knowledge, these are the first linear convergence results for stochastic momentum methods under the stochastic oracle model. We also extend our results to the APG method and weakly convex functions showing accelerated rates when the noise magnitude is sufficiently small.

연구 동기 및 목표

• 기계학습에서 흔한 노이즈가 있는 기울기 조건 하에서 모멘타움 기반 가속 방법의 수렴 행동을 분석하는 것.
• 스 tochastic AG, HB, APG 방법에 대해 1-Wasserstein 거리에서 엄밀한 선형 수렴 보장을 확립하는 것.
• 가속 수렴 속도를 유지할 수 있는 최대 노이즈 분산을 정량화하는 것.
• 노이즈가 충분히 작을 경우, 약한 볼록 및 이차 목표 함수에 대해서도 이러한 결과를 확장하여 가속 수렴 속도를 보여주는 것.
• 스텝 사이즈, 모멘타움 파라미터, 노이즈 분산의 함수로서 수렴 속도에 대한 명시적 경계를 제공하는 것.

제안 방법

• 편향이 없고 평균이 0이며 분산이 유계인 노이즈가 있는 1차 오라클 모델 하에서 스 tochastic 모멘타움 방법을 분석한다.
• 반복 점의 분포에 대한 1-Wasserstein 거리에서 수축 경계를 도출하기 위해 라플라스 함수 방법을 사용한다.
• 불변 분포 주변의 $\varepsilon$-이웃 영역으로 향하는 형태의 명시적 수렴 속도 $O(\sqrt{\kappa}\log(1/\varepsilon))$를 유도한다.
• 노이즈 존재 하에서 AG 및 HB의 동역학을 포착하기 위해 수정된 라플라스 함수 $V_{P_{\alpha,\beta}}$ 를 도입한다.
• 가속 수렴을 유지하기 위한 노이즈 분산 $\sigma^2$ 의 경계를 안정성 및 수축 분석에서 유도한다.
• 약한 볼록 함수 및 제약 조건이 있는 문제에 대해 APG 방법을 통해 결과를 확장하여, 소규모 노이즈 조건 하에서 유사한 가속 수렴 속도를 보여준다.

실험 결과

연구 질문

• RQ1 AG 및 HB와 같은 가속 모멘타움 방법이 노이즈가 있는 기울기 조건에서도 선형 수렴을 달성할 수 있는가?
• RQ2 스 tochastic 환경에서 가속 수렴을 유지할 수 있는 최대 기울기 노이즈 수준은 무엇인가?
• RQ3 스텝 사이즈 및 모멘타움 파라미터는 스 tochastic 기울기 조건 하에서 수렴 속도에 어떤 영향을 미치는가?
• RQ4 노이즈 존재 하에서 반복 점의 분포가 1-Wasserstein 거리에서 정적 분포로 수렴하는가?
• RQ5 스 tochastic 환경에서 $O(\sqrt{\kappa}\log(1/\varepsilon))$ 의 가속 수렴 속도가 유지될 수 있으며, 그 조건은 무엇인가?

주요 결과

• AG의 반복 점 분포는 불변 분포 주변의 반경 $\varepsilon$ 이내의 영역으로 1-Wasserstein 거리에서 수렴 속도 $O(\sqrt{\kappa}\log(1/\varepsilon))$ 로 선형 수렴한다.
• 가속 수렴이 더 이상 보장되지 않는 노이즈 분산의 임계 상한이 도출되었다.
• 노이즈가 없는 극한에서 기존의 결정론적 수렴 속도 $O(\sqrt{\kappa}\log(1/\varepsilon))$ 로 복원된다.
• 이차 목표 함수의 경우 분석 결과가 더 타이트한 경계를 제공하며, 동일한 노이즈 제약 조건 하에서 전역적인 가속 수렴을 확인한다.
• 노이즈 크기가 충분히 작을 경우, APG 방법 또한 약한 볼록 케이스에서 가속 수렴 속도를 달성한다.
• 수치 실험을 통해 정적 분포의 존재를 확인하고, 다양한 노이즈 수준에서 이론적 수렴 속도가 검증된다.