[논문 리뷰] Benign Overfitting of Constant-Stepsize SGD for Linear Regression

Difan Zou, Jingfeng Wu외 3명|arXiv (Cornell University)|2021. 03. 23.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 8

한 줄 요약

이 논문은 과다매개변수화된 선형 회귀에서 일정한 학습률을 사용하는 SGD에 대해 반복값 평균화 또는 尾(꼬리) 평균화를 적용할 때 날카운 excess risk 경계를 제공한다. 이 경계는 분산이 SGD 전용의 유효 차원에 의존하고 편향은 초기 반복값이 데이터 공분산과 정렬되어 있는 정도에 의존하는 편향-분산 분해를 드러낸다. 일치하는 하한 경계를 확립하여, 尾 평균화가 반복값 평균화를 능가하고, SGD의 암묵적 정규화가 릿지 회귀나 최소 노름 보간과 근본적으로 다름을 입증한다.

ABSTRACT

There is an increasing realization that algorithmic inductive biases are central in preventing overfitting; empirically, we often see a benign overfitting phenomenon in overparameterized settings for natural learning algorithms, such as stochastic gradient descent (SGD), where little to no explicit regularization has been employed. This work considers this issue in arguably the most basic setting: constant-stepsize SGD (with iterate averaging or tail averaging) for linear regression in the overparameterized regime. Our main result provides a sharp excess risk bound, stated in terms of the full eigenspectrum of the data covariance matrix, that reveals a bias-variance decomposition characterizing when generalization is possible: (i) the variance bound is characterized in terms of an effective dimension (specific for SGD) and (ii) the bias bound provides a sharp geometric characterization in terms of the location of the initial iterate (and how it aligns with the data covariance matrix). More specifically, for SGD with iterate averaging, we demonstrate the sharpness of the established excess risk bound by proving a matching lower bound (up to constant factors). For SGD with tail averaging, we show its advantage over SGD with iterate averaging by proving a better excess risk bound together with a nearly matching lower bound. Moreover, we reflect on a number of notable differences between the algorithmic regularization afforded by (unregularized) SGD in comparison to ordinary least squares (minimum-norm interpolation) and ridge regression. Experimental results on synthetic data corroborate our theoretical findings.

연구 동기 및 목표

• 암묵적 정규화 없이 과다매개변수화된 영역에서 일정한 학습률을 사용하는 SGD의 일반화 행동을 이해하기 위해.
• 특히 릿지 회귀와 최소 노름 보간과의 비교를 통해 선형 회귀에서 SGD가 유도하는 암묵적 정규화를 특성화하기 위해.
• 데이터 공분산 행렬의 전체 고유스펙트럼에 따라 의존하는 날카운 상한 및 하한 경계를 수립하기 위해.
• 초기 가중치 벡터가 데이터 공분산과 정렬되어 있을 경우 일반화 성능에 어떤 영향을 미치는지 분석하기 위해.

제안 방법

• 반복값 평균화를 사용하는 일정한 학습률 SGD에 대한 excess risk 경계를 유도하며, 데이터 공분산의 고유스펙트럼에 기반한 편향 및 분산 성분으로 분해한다.
• 행렬 섭동 이론과 스펙트럼 분해를 활용한 새로운 분석 프레임워크를 도입하여 SGD 반복값의 동역학을 특성화한다.
• 반복값 평균화에 대해 일치하는 하한 경계를 확립하여 상한 경계의 날카움을 상수 요인 이내에서 입증한다.
• 최종 반복값에 초점을 맞춘 尾 평균화 분석을 통해 반복값 평균화 대비 더 나은 분산 제어를 보여준다.
• 오차를 편향 및 분산 항으로 분해하며, 편향 항은 헤시안의 고유공간에 대한 초기 가중치 벡터의 투영에 의존한다.
• 트레이스 부등식과 스펙트럼 경계를 적용하여, 데이터 공분산 행렬의 고유값에 따라 의존하는 비점근적이고 유한 표본의 위험 경계를 유도한다.

실험 결과

연구 질문

• RQ1 일정한 학습률 SGD가 과다매개변수화된 선형 회귀에서 유리한 과적합을 달성할 수 있는 조건은 무엇인가?
• RQ2 초기 가중치 벡터가 데이터 공분산과 정렬되어 있을 경우 SGD의 일반화에 어떤 영향을 미치는가?
• RQ3 선형 회귀에서 SGD의 반복값 평균화와 尾 평균화의 상대적인 일반화 성능는 어떠한가?
• RQ4 SGD의 암묵적 정규화는 릿지 회귀와 최소 노름 보간과 비교해 어떻게 다른가?
• RQ5 데이터 공분산 행렬의 전체 고유스펙트럼에 따라 의존하는 날카운 상한 및 하한 경계를 유도할 수 있는가?

주요 결과

• 반복값 평균화를 사용하는 SGD의 excess risk는 편향과 분산 항의 합으로 경계지며, 분산 항은 SGD의 동역학에 특화된 유효 차원에 의존한다.
• 편향 항은 초기 가중치 벡터가 데이터 공분산 행렬의 고유공간에 투영된 정도에 의해 날카롭게 특성화되며, 특히 학습률과 고유값에 따라 달라진다.
• 반복값 평균화에 대해 일치하는 하한 경계가 확립되어 상한 경계의 날카움이 상수 요인 이내에서 확인된다.
• 尾 평균화는 반복값 평균화보다 더 나은 excess risk 경계를 달성하며, 거의 일치하는 하한 경계를 보여주어 일반화 성능에서의 우월성을 입증한다.
• SGD의 암묵적 정규화는 릿지 회귀와 최소 노름 보간과 근본적으로 다르며, 특히 저고유값 방향에 대해 어떻게 다루는지가 핵심이다.
• 합성 데이터에 대한 실험 결과는 이론적 발견을 검증하며, 일반화 성능이 초기 가중치 벡터와 학습률 선택에 의해 결정된다는 것을 보여준다.