[논문 리뷰] Bridging the Gap between Constant Step Size Stochastic Gradient Descent and Markov Chains

Aymeric Dieuleveut, Alain Durmus외 1명|arXiv (Cornell University)|2017. 07. 20.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 34

한 줄 요약

이 논문은 마르코프 체인 이론을 활용하여 강凸 목적 함수에 대한 일정 단계 크기(stochastic gradient descent, SGD)의 편향에 대한 명시적 점근 전개를 수립한다. 평균화된 반복값이 진짜 최적값에서 O(γ)만큼 떨어진 분포로 수렴함을 보이며, 이 편향을 줄이기 위해 리처드슨-롬버그 보간법을 제안한다. 이는 경험적으로 전역 최소값으로 향하는 수렴을 향상시킨다.

ABSTRACT

We consider the minimization of an objective function given access to unbiased estimates of its gradient through stochastic gradient descent (SGD) with constant step-size. While the detailed analysis was only performed for quadratic functions, we provide an explicit asymptotic expansion of the moments of the averaged SGD iterates that outlines the dependence on initial conditions, the effect of noise and the step-size, as well as the lack of convergence in the general (non-quadratic) case. For this analysis, we bring tools from Markov chain theory into the analysis of stochastic gradient. We then show that Richardson-Romberg extrapolation may be used to get closer to the global optimum and we show empirical improvements of the new extrapolation scheme.

연구 동기 및 목표

• 일정 단계 크기 SGD의 강凸 케이스에 대한 완전한 이론적 이해를 제공하는 것.
• 비제곱형 설정에서의 수렴 불가로 인해 평균화된 SGD 반복값의 편향을 정량화하는 것.
• 점근적 편향을 줄이고 전역 최적값으로의 수렴을 향상시키는 증명 가능한 방법을 개발하는 것.
• SGD와 마르코프 체인 이론 사이의 격차를 메우어 확률적 최적화의 분석을 향상시키는 것.

제안 방법

• 평균화된 반복값에 대해 R^d 위에서 정상 분포 π_γ를 가지는 동질 마르코프 체인으로 일정 단계 크기 SGD를 분석한다.
• 평균화된 반복값에 대해 단계 크기 γ에 대한 편향 E[θ̄_γ - θ*] = O(γ)의 명시적 점근 전개를 유도한다.
• 마르코프 체인 이론의 도구를 적용하여 π_γ와 θ*에서의 Dirac 측도 사이의 비점근적 약한 오차 전개를 수립한다.
• 시작 조건 의존성에 따른 편향(초기 조건 영향)과 노이즈 의존성에 따른 분산(노이즈 영향) 항으로 명시적인 분해를 포함하는 정량적 중심극한정리 수립.
• 다양한 단계 크기를 가진 여러 SGD 실행을 조합하여 O(γ) 편향을 줄이기 위해 리처드슨-롬버그 보간법을 제안한다.
• 테일러 전개와 에르고딕성 추론을 사용하여 평균화된 반복값이 정적 평균으로부터의 이탈에 대한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 평균화된 일정 단계 크기 SGD의 정확한 점근적 편향은 진짜 최적값에 비해 얼마인가?
• RQ2 시작 조건과 경사 노이즈는 일정 단계 크기 SGD의 수렴 행동에 어떻게 영향을 미치는가?
• RQ3 마르코프 체인 이론은 일정 단계 크기 SGD의 장기적 행동을 체계적으로 분석하는 데 적용될 수 있는가?
• RQ4 보간 기법을 통해 일정 단계 크기 SGD의 내재된 편향을 줄일 수 있는가?
• RQ5 제안된 리처드슨-롬버그 방법은 표준 일정 단계 크기 SGD에 비해 수렴을 어떻게 향상시키는가?

주요 결과

• 기대 평균 반복값 θ̄_γ와 진짜 최적값 θ* 사이의 편향은 점근적으로 O(γ)이며, 이는 일반적인 비제곱형 설정에서 일정 단계 크기 SGD의 수렴 불가를 설명한다.
• 편향 항은 지수적으로 빠르게 감소하며, 초기 조건 θ₀ - θ*에 선형적으로 의존하며, 잊기 속도를 측정하는 노름 N(θ₀ - θ*)을 포함한다.
• 중심극한정리의 분산 항은 초기 조건과 무관하며, 경사 추정치의 노이즈 공분산 증가에 따라 증가한다.
• 정상 분포 π_γ와 θ*에서의 Dirac 측도 사이에 비점근적 약한 오차 전개를 수립하여, 약한 의미에서 수렴 속도가 O(γ)임을 보여준다.
• 리처드슨-롬버그 보간법이 제안되고 경험적으로 검증되어 O(γ) 편향을 줄이며 전역 최소값으로의 수렴을 향상시킨다.
• E[‖θ̄_k^(γ) - θ̄_γ‖²]에 대한 이론적 경계가 유도되었으며, 초기 조건과 노이즈에 대한 명확한 의존성을 가지는 편향 및 분산 성분으로 명시적으로 분리되어 있다.