[논문 리뷰] SGD Implicitly Regularizes Generalization Error

Daniel A. Roberts|arXiv (Cornell University)|2021. 04. 10.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 확률적 경사하강법(SGD)이 근접한 경사 업데이트 간의 상관성을 제거함으로써 일반화 오차의 암묵적 정규화를 유도하며, 이로 인해 매개변수 업데이트에 드리프트가 발생하여 과적합을 완화함을 보여준다. 주요 결과는 SGD와 전체 배치 경사하강법(GD) 간의 경사 업데이트 차이가 평균 일반화 오차 변화의 도함수에 비례하며, 이는 평균 및 공분산과 같은 측정 가능한 경사 통계량을 통해 SGD의 암묵적 정규화를 명시적으로 규명함을 보여준다.

ABSTRACT

We derive a simple and model-independent formula for the change in the generalization gap due to a gradient descent update. We then compare the change in the test error for stochastic gradient descent to the change in test error from an equivalent number of gradient descent updates and show explicitly that stochastic gradient descent acts to regularize generalization error by decorrelating nearby updates. These calculations depends on the details of the model only through the mean and covariance of the gradient distribution, which may be readily measured for particular models of interest. We discuss further improvements to these calculations and comment on possible implications for stochastic optimization.

연구 동기 및 목표

• 높은 모델 용량에도 불구하고 전체 배치 GD가 실패하는 상황에서 SGD가 잘 일반화되는 이유를 이해하기 위해.
• SGD가 전체 배치 GD보다 뛰어난 일반화 성능을 보이는 메커니즘을 규명하기 위해.
• 경사 업데이트가 일반화 오차에 미치는 영향을 기반으로 한 모델에 종속되지 않는 공식을 유도하기 위해.
• SGD의 암묵적 정규화가 단순한 노이즈 주입이 아니라 경사 업데이트의 상관성 제거에서 기인함을 보여주기 위해.
• 경사 통계량(예: 평균 및 공분산)을 활용해 암묵적 정규화를 측정하고 활용할 수 있는 프레임워크를 제공하기 위해.

제안 방법

• 단일 경사 업데이트 후 일반화 오차 변화에 대한 일반 공식을 유도하며, 이는 경사 분포의 평균과 공분산만을 사용한다.
• SGD와 전체 배치 GD의 동역학을 비교하기 위해 그들의 경사 업데이트 차이를 분석하며, 이 차이가 평균 일반화 오차 변화의 도함수에 비례함을 보여준다.
• 손실 함수의 두 번째 차수 타일러 전개를 사용하여 GD 및 SGD 하에서의 매개변수 업데이트를 모델링하며, O(η³)까지 고려한다.
• 핵심 식 도입: ⟨δgᵢ⟩ = −½ ∂ᵢ⟨δε⟩, 여기서 ⟨δgᵢ⟩는 SGD와 GD 간의 평균 경사 차이이며, ⟨δε⟩는 일반화 오차 평균 변화이다.
• ⟨δε⟩가 경사 공분산 행렬의 추적(tr(Σ))에 비례함을 보이며, 이는 일반화 성능이 경사 변동성과 직접적으로 연결됨을 의미한다.
• 암묵적 정규화가 등방성 노이즈가 아니라 근접한 업데이트 간의 상관성 제거로 인한 드리프트 항에 기인하며, 이는 손실 수정 또는 전처리를 통해 명시적으로 만들 수 있음을 제안한다.

실험 결과

연구 질문

• RQ1 시간이 지남에 따라 SGD와 전체 배치 GD가 일반화 오차에 미치는 영향은 어떻게 다를까?
• RQ2 경사 공분산과 그 시간에 따른 변화가 암묵적 정규화에서 어떤 역할을 하는가?
• RQ3 더 정확한 경사 추정을 사용하지 않음에도 불구하고 SGD가 전체 배치 GD보다 더 잘 일반화되는 이유는 무엇인가?
• RQ4 경사 평균 및 공분산과 같은 측정 가능한 양을 통해 SGD의 암묵적 정규화를 명시적으로 만들 수 있는가?
• RQ5 학습 및 테스트 세트의 경사 분포 간의 분리가 과적합과 일반화에 어떤 영향을 미치는가?

주요 결과

• SGD와 전체 배치 GD 간의 경사 차이는 ⟨δgᵢ⟩ = −½ ∂ᵢ⟨δε⟩로 명시화된 바와 같이 평균 일반화 오차 변화의 도함수에 비례한다.
• 일반화 오차의 평균 변화 ⟨δε⟩는 경사 공분산 행렬의 추적 tr(Σ)에 비례하므로, 일반화 오차는 경사 변동성에 직접적으로 의존한다.
• SGD의 암묵적 정규화는 등방성 노이즈 때문이 아니라 근접한 업데이트 간의 상관성 제거로 인한 드리프트 항에 기인하며, 이는 과적합 편향을 감소시킨다.
• 결과는 모델 독립적이며, 오직 측정 가능한 양인 미니배치에서의 경사 분포 평균과 공분산에 의존한다.
• 학습 및 테스트 세트의 경사 분포 간의 분리는 주 메커니즘 외에 추가 과적합 항 G_train ⋅ (G_test − G_train)을 도입하며, 이는 일반화 오차에 영향을 미친다.
• 이러한 발견은 실용적 개선을 시사한다: tr(Σ)를 기반으로 한 명시적 정규화를 손실에 포함하거나, 경사 공분산 행렬의 역행렬을 전처리자로 사용하여 더 빠르고 일반화 능력이 뛰어난 최적화를 달성할 수 있다.