[논문 리뷰] Label Noise SGD Provably Prefers Flat Global Minimizers

Alex Damian, Tengyu Ma외 1명|arXiv (Cornell University)|2021. 06. 11.

Machine Learning and Data Classification참고 문헌 25인용 수 7

한 줄 요약

이 논문은 오버파rametrized 모델에서 확률적 경사 하강법(SGD)에 레이블 노이즈를 적용할 경우, 손실 함수 $L(\theta) + \lambda R(\theta)$의 정류점으로 수렴함으로써 암묵적 정규화가 일어남을 증명한다. 여기서 $R(\theta)$는 날카로운 최소값을 페널티하는 항이며, 정규화 강도 $\lambda$는 학습률, 배치 크기, 노이즈 분산에 따라 결정된다. 이는 레이블 노이즈가 평탄한 전역 최소값을 선호함으로써 오버파라미터라이제이션 모델의 일반화 성능을 향상시킨다는 것을 시사한다.

ABSTRACT

In overparametrized models, the noise in stochastic gradient descent (SGD) implicitly regularizes the optimization trajectory and determines which local minimum SGD converges to. Motivated by empirical studies that demonstrate that training with noisy labels improves generalization, we study the implicit regularization effect of SGD with label noise. We show that SGD with label noise converges to a stationary point of a regularized loss $L(θ) +λR(θ)$, where $L(θ)$ is the training loss, $λ$ is an effective regularization parameter depending on the step size, strength of the label noise, and the batch size, and $R(θ)$ is an explicit regularizer that penalizes sharp minimizers. Our analysis uncovers an additional regularization effect of large learning rates beyond the linear scaling rule that penalizes large eigenvalues of the Hessian more than small ones. We also prove extensions to classification with general loss functions, SGD with momentum, and SGD with general noise covariance, significantly strengthening the prior work of Blanc et al. to global convergence and large learning rates and of HaoChen et al. to general models.

연구 동기 및 목표

• 오버파라미터라이제이션 모델에서 레이블 노이즈가 SGD에 미치는 암묵적 정규화 효과를 이해하기 위해.
• 레이블 노이즈가 최적화 과정을 평탄한 전역 최소값으로 이끄는 방식을 규명하기 위해.
• 이전의 국소 안정성 분석을 전역 수렴 및 일반 손실 함수, 모멘텀을 포함한 더 넓은 설정으로 확장하기 위해.
• 학습률과 배치 크기가 손실와 정규화의 균형을 조절하는 방식을 수식적으로 정의하기 위해.

제안 방법

• 레이블 노이즈가 있는 SGD를 정규화된 손실 $L(\theta) + \lambda R(\theta)$에 대한 편향된 경사 하강법로 수식화하며, $R(\theta)$는 날카로운 최소값을 페널티하는 항이다.
• 손실 함수의 헤시안과 노이즈 공분산을 바탕으로 정규화 항 $R(\theta)$의 명시적 표현을 유도한다.
• SGD 동역학의 선형화 분석을 통해 정규화된 목표 함수의 정류점으로 수렴함을 보인다.
• 큰 학습률과 작은 배치 크기는 큰 헤시안 고유값에 대한 페널티를 증폭시켜 정규화 효과를 증가시킴을 입증한다.
• 분류 문제에 대한 일반 손실 함수, 모멘텀이 있는 SGD, 일반 노이즈 공분산 행렬 등으로 결과를 확장한다.
• 행렬 섭동 이론과 재귀 관계를 활용하여 오차 항의 성장률을 제한하고 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 레이블 노이즈가 있는 SGD는 오버파라미터라이제이션 모델에서 평탄한 최소값으로 전역 수렴하는가?
• RQ2 학습률과 배치 크기는 레이블 노이즈에 의해 유도되는 암묵적 정규화에 어떤 영향을 미치는가?
• RQ3 레이블 노이즈 SGD의 암묵적 편향이 손실 함수 $L(\theta) + \lambda R(\theta)$의 정류점으로 수렴하는 것으로 특징지을 수 있는가?
• RQ4 날카로운 최소값을 페널티하는 정규화 항 $R(\theta)$의 명시적 형태는 무엇인가?
• RQ5 모멘텀과 일반 노이즈 공분산은 레이블 노이즈 SGD의 암묵적 정규화에 어떤 영향을 미치는가?

주요 결과

• 레이블 노이즈가 있는 SGD는 $L(\theta) + \lambda R(\theta)$의 정류점으로 수렴하며, $R(\theta)$는 날카로운 최소값을 페널티하는 항이다.
• 효과적 정규화 파라미터 $\lambda$는 학습률 $\eta$, 노이즈 분산 $\sigma^2$, 배치 크기의 역수 $1/B$의 곱에 비례하며, $\lambda \propto \eta \sigma^2 / B$이다.
• 큰 학습률과 작은 배치 크기는 정규화 효과를 증가시켜 더 평탄한 최소값을 선호한다.
• 이 방법은 나쁜 국소 최소값을 성공적으로 회피하고, 오차가 0인 전역 최소값에서 초기화된 경우에도 전역 수렴함을 증명할 수 있다.
• 분석은 분류 문제의 일반 손실 함수, 모멘텀이 있는 SGD, 임의의 노이즈 공분산 행렬로도 확장 가능하다.
• 정규화 항 $R(\theta)$는 손실 함수의 헤시안과 명시적으로 연결되며, 고유값이 큰 영역일수록 더 큰 페널티를 부과한다.