[논문 리뷰] The convergence of the Stochastic Gradient Descent (SGD) : a self-contained proof

Gabriel Turinici|arXiv (Cornell University)|2021. 03. 26.

Markov Chains and Monte Carlo Methods참고 문헌 5인용 수 4

한 줄 요약

이 논문은 강한 볼록성과 기울기 모멘트 조건 하에서 확률적 경사하강법(SGD)의 수렴성에 대한 자가 포함된, 교육적으로 유용한 증명을 제시한다. 단계 크기 수열이 $ \rho_n \to 0 $ 이고 $ \sum \rho_n = \infty $ 를 만족할 경우, 반복값의 $ L^2 $ 수렴을 보장하며, 명시적인 오차 한계와 감쇠 속도 분석을 제공한다.

ABSTRACT

We give here a proof of the convergence of the Stochastic Gradient Descent (SGD) in a self-contained manner.

연구 동기 및 목표

• 외부 참조에 의존하지 않고 SGD 수렴성에 대한 완전하고 접근하기 쉬운 증명을 제공하는 것.
• SGD가 기대값으로 전역 최소값으로 수렴하는 조건을 체계적으로 정의하는 것.
• 학습률 스케줄링이 반복값의 $ L^2 $ 수렴에 미치는 역할를 명확히 하는 것.
• 기계학습 맥락에서 SGD를 가르치거나 구현하는 데 적합한 교육적 프레임워크를 제공하는 것.

제안 방법

• SGD 갱신 규칙을 체계화: $ X_{n+1} = X_n - \rho_n \nabla_X L(\omega_n, X_n) $, 여기서 $ \omega_n $ 는 i.i.d. 랜덤 샘플이다.
• 두 가지 핵심 가정을 도입: 이차 기울기 모멘트의 유계성 $ \mathbb{E}[\|\nabla_X L(\omega,X)\|^2] \leq C_0 + C_1\|X\|^2 $ 과 기대 손실 $ \mathcal{L}(X) $ 의 강한 볼록성.
• 최적값으로부터의 기대 제곱 거리에 대한 재귀 부등식 유도: $ d_{n+1} \leq (1 - \rho_n\mu + \rho_n^2 c_1) d_n + \rho_n^2 c_0 $.
• 리아푸노프 스타일의 추론을 통해 $ \rho_n \to 0 $ 이고 $ \sum \rho_n = \infty $ 인 조건 하에서 $ d_n \to 0 $ 이 됨을 보이며, 곱 부등식 보조정리의 활용을 포함한다.
• 무한곱의 로그적 한계 $ \prod (1 - \rho_\ell \xi) \to 0 $ 를 적용하여 渐近 수렴을 증명한다.
• 반복적 수축 추론과 $ \epsilon $-극한 분석을 통해 비정수 단계 크기의 처리를 수행한다.

실험 결과

연구 질문

• RQ1 강한 볼록성의 기대 손실 함수에서 SGD가 어떤 조건 하에 $ L^2 $ 으로 전역 최소값으로 수렴하는가?
• RQ2 학습률 스케줄링은 SGD의 수렴 속도와 최종 오차 한계에 어떤 영향을 미치는가?
• RQ3 기울기 모멘트 유계성은 SGD의 안정성과 수렴성 확보에 어떤 역할을 하는가?
• RQ4 고급 확률 과정에 의존하지 않고도 SGD 수렴성에 대한 자가 포함된 증명을 구성할 수 있는가?

주요 결과

• 기대 제곱 거리 $ d_n = \mathbb{E}[\|X_n - X_*\|^2] $ 는 학습률 수열이 $ \rho_n \to 0 $ 이고 $ \sum_{n \geq 1} \rho_n = \infty $ 를 만족할 경우 0으로 수렴한다.
• 일정한 학습률 $ \rho_n = \rho $ 인 경우, $ \rho $ 가 충분히 작을 때 $ d_n $ 의 $ \limsup $ 는 $ \epsilon $ 이하로 유계가 되며, 이는 최적값의 $ \epsilon $-근처로 수렴함을 보장한다.
• 수렴 속도는 $ d_{n+1} \leq (1 - \rho_n\mu + \rho_n^2 c_1) d_n + \rho_n^2 c_0 $ 의 부등식에 의해 결정되며, 여기서 $ c_0, c_1 $ 은 기울기 모멘트 유계성에서 유도된다.
• 증명은 $ \lim_{k \to \infty} \prod_{\ell=n}^{n+k} (1 - \rho_\ell \mu / 2) = 0 $ 이 성립함을 보이며, 이는 주어진 단계 크기 조건 하에서 渐近 수렴을 보장한다.
• 손실 함수가 미분 가능하지 않더라도, 비미분점(예: ReLU 활성화 함수)에서 서브기울기를 사용할 경우 결과는 그대로 성립한다.
• 분석은 $ \sum \rho_n = \infty $ 가 정확한 최소값으로의 수렴을 위해 필수적임을 확인하며, 유한한 합을 갖는 반례를 통해 이를 입증한다.