[논문 리뷰] Normal Approximation for Stochastic Gradient Descent via Non-Asymptotic Rates of Martingale CLT

Andreas Anastasiou, Krishnakumar Balasubramanian외 1명|arXiv (Cornell University)|2019. 04. 03.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 5

한 줄 요약

이 논문은 다항식 중심극한정리(Martingale CLT)를 사용하여 폴리악-르퍼 평균화된 확률적 경사하강법(Polyak-Ruppert averaged SGD)의 비점근적 수렴 속도를 정규분포로 도출한다. 스텐의 방법과 린데베르그의 접근법을 융합함으로써 다변량 마팅게일 차분 수열에 대한 명시적인 수렴 속도를 도출하여, 점근적 근사에 의존하지 않는 유한표본 신뢰구간과 가설검정을 가능하게 한다.

ABSTRACT

We provide non-asymptotic convergence rates of the Polyak-Ruppert averaged stochastic gradient descent (SGD) to a normal random vector for a class of twice-differentiable test functions. A crucial intermediate step is proving a non-asymptotic martingale central limit theorem (CLT), i.e., establishing the rates of convergence of a multivariate martingale difference sequence to a normal random vector, which might be of independent interest. We obtain the explicit rates for the multivariate martingale CLT using a combination of Stein's method and Lindeberg's argument, which is then used in conjunction with a non-asymptotic analysis of averaged SGD proposed in [PJ92]. Our results have potentially interesting consequences for computing confidence intervals for parameter estimation with SGD and constructing hypothesis tests with SGD that are valid in a non-asymptotic sense.

연구 동기 및 목표

• 고차원 통계에서 평균화된 SGD에 대한 비점근적 정규분포 근사 문제를 해결하기 위해.
• 이차미분 가능한 시험 함수에 대해 평균화된 SGD가 정규분포로 수렴하는 명시적 비점근적 수렴 속도를 확립하기 위해.
• 정량화 가능한 수렴 속도를 갖는 비점근적 다변량 마팅게일 중심극한정리를 개발하여 확률적 최적화에 적용 가능하게 하기 위해.
• 점근적 정규성의 한계를 넘어, SGD 기반 매개변수 추정에서의 유한표본 불확실성 정량화를 가능하게 하기 위해.

제안 방법

• 다변량 마팅게일 차분 수열에 대해 스텐의 방법과 린데베르그의 접근법을 융합하여 비점근적 마팅게일 중심극한정리를 유도하였다.
• 일阶 및 이阶 도함수의 유계성을 갖는 시험 함수에 대해 워샤우르 거리(Wasserstein distance) 기반 수렴 속도를 확립하였다.
• 헤시안-스무쓰니스와 강凸성 가정을 활용하여 SGD 반복에서 고차항 잔여항을 제어하였다.
• 논문 [35]의 평균화된 SGD에 대한 비점근적 분석을 새로운 마팅게일 중심극한정리와 융합하여 정규분포 근사 오차를 유계화하였다.
• 핵심 구성 요소로는 잔여항 $ I_1, I_3, I_4 $ 의 노름을 모멘트 유계와 역헤시안의 스펙트럼 노름을 이용해 유계화하였다.
• 스텝 사이즈 $ \theta_t $, 헤시안 스무쓰니스 상수 $ L_H $, 조건수 $ \frac{\nu}{\nu} $ 를 기반으로 명시적인 오차 유계를 도출하였다.

실험 결과

연구 질문

• RQ1 약한 정규성 조건 하에서 평균화된 SGD가 정규분포로 수렴하는 비점근적 수렴 속도는 무엇인가?
• RQ2 스텐의 방법을 사용하여 명시적인 오차 유계를 갖는 비점근적 다변량 마팅게일 중심극한정리를 확립할 수 있는가?
• RQ3 고차원 설정에서의 유한시간 추론을 위해 SGD의 정규분포 근사 오차는 어떻게 정량화할 수 있는가?
• RQ4 이러한 유계가 유한표본 환경에서 유효한 신뢰구간과 가설검정을 구성하는 데 미치는 영향은 무엇인가?

주요 결과

• 논문은 이차미분 가능한 시험 함수에 대해 워샤우르 거리 기반으로 명시적인 수렴 속도를 갖는 비점근적 다변량 마팅게일 중심극한정리를 확립하였다.
• 평균화된 SGD의 정규분포 수렴 속도는 $ O\left( \frac{\|\Sigma_t^{-1/2}\|_2}{t} \sum_{j=1}^{t-1} \sqrt{\eta_j} \right) $ 로 유계지어졌으며, 여기서 $ \eta_j $ 는 스텝 사이즈이다.
• 잔여항 $ I_4 $ 의 오차 유계는 $ \frac{\|\Sigma_t^{-1/2}\|_2 L_H}{t} \sum_{j=1}^{t-1} \sqrt{\eta_j} $ 로 표현되며, 이는 헤시안 스무쓰니스와 스텝 사이즈 감쇠에 기인한다.
• 잔여항의 기대 노름 $ \mathbb{E}[\|I_4\|_2] $ 은 $ \mathbb{E}[\|\Delta_j\|_2] \leq \sqrt{\frac{2C}{\mu} \eta_j} $ 를 통해 모멘트 제어를 통해 유계지어졌으며, 이는 강凸성 매개변수 $ \mu $ 와 연결된다.
• 이 방법은 점근적 근사에 의존하지 않는 유한표본 신뢰구간을 도출할 수 있다.
• 결과는 온라인 학습 및 SGD를 이용한 통계적 추론에서의 불확실성 정량화에 이론적 기반을 제공한다.