[논문 리뷰] The Implicit Regularization of Stochastic Gradient Flow for Least Squares

Alnur Ali, Edgar Dobriban외 1명|arXiv (Cornell University)|2020. 03. 17.

Stochastic Gradient Optimization Techniques참고 문헌 90인용 수 19

한 줄 요약

이 논문은 최소 제곱 문제에서 미니배치 확률적 경사 하강 흐름(SGF)과 리지 회귀 간의 엄밀한 이론적 연결을 수립한다. 연속 시간 스토크라스틱 미분 방정식 모델을 사용하여, 시간 $ t $ 에서 SGF의 초과 위험은 $ \lambda = 1/t $ 인 리지 회귀의 초과 위험에 의해 상한으로 제한됨을 증명한다. 이때 단계 크기, 미니배치 크기, 분산에 대한 명시적 의존성을 포함하며, SGF가 최소한의 계산 비용으로 리지와 유사한 암묵적 정규화를 수행함을 보여준다.

ABSTRACT

We study the implicit regularization of mini-batch stochastic gradient descent, when applied to the fundamental problem of least squares regression. We leverage a continuous-time stochastic differential equation having the same moments as stochastic gradient descent, which we call stochastic gradient flow. We give a bound on the excess risk of stochastic gradient flow at time $t$, over ridge regression with tuning parameter $λ= 1/t$. The bound may be computed from explicit constants (e.g., the mini-batch size, step size, number of iterations), revealing precisely how these quantities drive the excess risk. Numerical examples show the bound can be small, indicating a tight relationship between the two estimators. We give a similar result relating the coefficients of stochastic gradient flow and ridge. These results hold under no conditions on the data matrix $X$, and across the entire optimization path (not just at convergence).

연구 동기 및 목표

• 최소 제곱 회귀에서 미니배치 확률적 경사 하강법(SGD)의 암묵적 정규화 효과를 이해하기 위해.
• 시간에 따라 변화하는 SGF의 위험과 $ \lambda = 1/t $ 인 리지 회귀 간의 정밀한 관계를 수립하기 위해.
• 알고리즘 하이퍼파rameter—단계 크기, 미니배치 크기, 시간—이 SGF의 초과 위험에 미치는 영향을 정량화하기 위해.
• SGF가 수렴 시점 외에도 리지 회귀보다 훨씬 적은 계산 시간으로 거의 최적의 통계적 성능을 달성함을 보여주기 위해.
• 데이터 행렬 $ X $ 에 대한 가정 없이 전체 최적화 경로에서 유효한 경계를 제공하기 위해.

제안 방법

• SGD를 연속 시간 스토크라스틱 미분 방정식인 확률적 경사 하강 흐름(SGF)으로 모델링하며, 이는 미니배치 SGD의 1차 및 2차 모멘트를 정확히 반영한다.
• SGF에 대한 정확한 위험 분해를 도출하여, $ \lambda = 1/t $ 인 리지 회귀와의 초과 위험을 세 항의 합으로 표현한다: 리지의 분산, 미니배칭에서 온 분산, 그리고 일정한 단계 크기에서 기인한 변동성 항.
• 데이터 행렬 $ X $ 의 스펙트럼 분해와 특이값을 활용하여 SGF와 리지 계수 간의 차이를 경계한다.
• 계수 거리 분석을 위해 함수 $ f(x) = (1 - e^{-x})(1+x)/x $ 를 도입하며, 이 함수의 단조성과 유계성 특성을 활용하여 균일한 경계를 도출한다.
• 행렬 부등식과 농도 집합론적 추론을 사용하여, 계수 차이가 $ (g(t) - 1) \| \hat{\beta}^{\text{ridge}}(1/t) \|_2 $ 이하로 경계됨을 보여주며, 여기서 $ g(t) $ 는 시간에 따라 변하는 인자이다.
• 가우스, 스트루트-티, 베르누이 분포 데이터에 대한 수치 실험을 통해 이론적 경계의 타당성을 검증하였으며, $ n, p, m $ 및 $ \epsilon $ 의 다양한 조건에서 수행하였다.

실험 결과

연구 질문

• RQ1 시간 $ t $ 에서 확률적 경사 하강 흐름의 초과 위험은 조정 파ram터 $ \lambda = 1/t $ 인 리지 회귀와 어떻게 비교되는가?
• RQ2 초과 위험의 알고리즘 하이퍼파rameter—단계 크기, 미니배치 크기, 시간—에 대한 명시적 의존성은 무엇인가?
• RQ3 SGF의 암묵적 정규화는 수렴 시점 외에도 전체 최적화 경로에서 엄밀하게 경계되고 정량화될 수 있는가?
• RQ4 최적 정지 시점에서 비교했을 때, SGF의 위험 및 계산 시간 성능은 리지 회귀와 어떻게 비교되는가?
• RQ5 SGF와 $ \lambda = 1/t $ 인 리지 회귀 간의 계수 경로 간의 관계는 무엇이며, 이 경계는 얼마나 엄밀한가?

주요 결과

• 시간 $ t $ 에서 SGF의 초과 위험은 $ \lambda = 1/t $ 인 리지 회귀의 초과 위험에 의해 상한으로 제한되며, 이 경계는 세 가지 해석 가능한 항—리지 분산, 확률적 성분 분산, 변동성 항—으로 분해된다.
• 이 경계는 실질적으로 엄밀하다—수치 예제에서는 초과 위험이 최적 리지 위험의 1.0032배 이하로 나타나, 강력한 암묵적 정규화 효과를 시사한다.
• SGF와 $ \lambda = 1/t $ 인 리지 회귀 간의 계수 차이는 $ (g(t) - 1) \| \hat{\beta}^{\text{ridge}}(1/t) \| $ 이하로 경계되며, 여기서 $ g(t) \leq 1.2985 $ 이므로 모든 $ t $ 에서 두 추정량이 유사함을 보여준다.
• 위험 경계의 변동성 항은 $ t \to \infty $ 일 때 사라지며, 과다 매개변수화된 영역에서는 0이 되어 최소 제곱 해로 수렴함을 반영한다.
• SGF는 최적 정지 시점에서 리지 회귀보다 훨씬 적은 계산 시간으로 거의 최적의 위험 성능을 달성하며, 이는 유리한 계산-통계적 트레이드오프를 보여준다.
• 결과는 데이터 행렬 $ X $ 에 대한 어떤 가정 없이도 유효하며, 수렴 시점 외에도 전체 최적화 경로에서 유효하다.