[논문 리뷰] The Benefits of Implicit Regularization from SGD in Least Squares Problems

Difan Zou, Jingfeng Wu외 4명|arXiv (Cornell University)|2021. 12. 06.

Stochastic Gradient Optimization Techniques인용 수 3

한 줄 요약

이 논문은 최소 제곱 문제에서 확률적 경사 하강법(SGD)이 정규화를 명시적으로 적용하지 않더라도 릿지 회귀보다 일반화 성능이 유사하거나 뛰어나게 암묵적 정규화를 제공한다는 것을 보여준다. 넓은 범위의 고차원 문제에 대해, 조절된 일정한 학습률을 사용하는 SGD는 릿지 회귀와 비슷하거나 더 낫게 일반화 성능을 달성하며, 일부 경우에서는 샘플 수를 로그적으로 줄일 수 있고, 다른 경우에서는 제곱근만큼 줄일 수 있다.

ABSTRACT

Stochastic gradient descent (SGD) exhibits strong algorithmic regularization effects in practice, which has been hypothesized to play an important role in the generalization of modern machine learning approaches. In this work, we seek to understand these issues in the simpler setting of linear regression (including both underparameterized and overparameterized regimes), where our goal is to make sharp instance-based comparisons of the implicit regularization afforded by (unregularized) average SGD with the explicit regularization of ridge regression. For a broad class of least squares problem instances (that are natural in high-dimensional settings), we show: (1) for every problem instance and for every ridge parameter, (unregularized) SGD, when provided with logarithmically more samples than that provided to the ridge algorithm, generalizes no worse than the ridge solution (provided SGD uses a tuned constant stepsize); (2) conversely, there exist instances (in this wide problem class) where optimally-tuned ridge regression requires quadratically more samples than SGD in order to have the same generalization performance. Taken together, our results show that, up to the logarithmic factors, the generalization performance of SGD is always no worse than that of ridge regression in a wide range of overparameterized problems, and, in fact, could be much better for some problem instances. More generally, our results show how algorithmic regularization has important consequences even in simpler (overparameterized) convex settings.

연구 동기 및 목표

• 선형 회귀에서 SGD의 암묵적 정규화 효과를 이해하는 것, 특히 고차원 및 과다 매개변수화된 설정에서.
• 동일한 문제 인스턴스에서 정규화되지 않은 SGD와 명시적 정규화를 적용한 릿지 회귀 간의 일반화 성능를 비교하는 것.
• SGD의 알고리즘적 정규화가 릿지 회귀의 명시적 정규화보다 증명 가능하게 뛰어난 조건을 규명하는 것.
• 샘플 효율성과 일반화 측면에서 SGD와 릿지 회귀 간의 날카운, 인스턴스별 비교를 수립하는 것.

제안 방법

• 저자는 과소 매개변수화 및 과다 매개변수화된 선형 회귀 설정에서 조절된 일정한 학습률을 사용하는 정규화되지 않은 평균 SGD를 분석한다.
• 특히 고차원 데이터에 관련된 많은 종류의 최소 제곱 문제 인스턴스에 대해, SGD의 일반화 오차를 릿지 회귀의 일반화 오차와 비교한다.
• 분석은 랜덤 행렬 이론과 농도 부등식을 활용하여 SGD와 릿지 회귀의 일반화 오차에 대한 경계를 유도하는 데 기반한다.
• 비교는 인스턴스별로 이루어지며, 각 방법의 성능이 샘플 수와 문제의 내재 차원성에 따라 어떻게 스케일링되는지에 중점을 둔다.
• 저자는 모든 문제 인스턴스와 릿지 파라미터에 대해, SGD가 샘플 수를 로그적으로 더 많이 제공받는다면 릿지 회귀의 성능을 열등하게 하지 않는다고 밝힌다.
• 또한, 릿지 회귀가 동일한 일반화 오차를 달성하기 위해 SGD보다 제곱근만큼 더 많은 샘플이 필요한 문제 인스턴스가 존재함을 보여준다.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 최소 제곱 문제에서 정규화되지 않은 SGD의 일반화 성능은 릿지 회귀와 어떻게 비교되는가?
• RQ2 SGD의 암묵적 정규화는 샘플 효율성 측면에서 명시적 릿지 정규화에 의해 정량적으로 따라잡거나 능가할 수 있는가?
• RQ3 릿지 회귀가 최적화된 경우에도, SGD가 일반화에서 뚜렷이 뛰어나게 되는 문제 인스턴스가 존재하는가?
• RQ4 다양한 문제 인스턴스에 따라, SGD의 일반화 오차가 샘플 수에 대해 릿지 회귀와 어떻게 상관되는가?

주요 결과

• 모든 문제 인스턴스와 릿지 파라미터에 대해, 조절된 일정한 학습률을 사용하는 정규화되지 않은 SGD는 샘플 수를 로그적으로 더 많이 제공받는다면 릿지 회귀의 성능을 열등하게 하지 않는다.
• 고려된 클래스에 속하는 일부 문제 인스턴스에서는, 최적화된 릿지 회귀가 동일한 일반화 성능을 달성하기 위해 SGD보다 제곱근만큼 더 많은 샘플이 필요하다.
• SGD의 암묵적 정규화는 샘플 복잡도의 로그 요소까지 고려할 때 항상 릿지 회귀만큼 효과적이다.
• SGD가 릿지 회귀를 뛰어넘는 것은 균일하지 않으며, 문제 인스턴스의 구조에 따라 달라지며, 일부 인스턴스에서는 SGD가 크게 유리하다.
• 결과는 알고리즘적 정규화가 선형 회귀와 같은 단순한 볼록 설정에서도 강력하고 증명 가능한 이점을 가짐을 보여준다.
• 연구 결과는 암묵적 정규화를 통한 SGD가 고차원, 과다 매개변수화된 영역에서 명시적 릿지 페널티보다 더 샘플 효율적인 정규화 방식임을 강조한다.