[논문 리뷰] Strength of Minibatch Noise in SGD

Liu Ziyin, Kangqiao Liu외 2명|arXiv (Cornell University)|2021. 02. 10.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 8

한 줄 요약

이 논문은 딥러닝을 위한 확률적 경사하강법(SGD)에서 미니배치 노이즈의 첫 번째 체계적인 분석을 제공하며, 임의의 학습률을 가진 이산시간 SGD에서 노이즈 강도와 파rameter 변동에 대한 정확한 해석적 공식을 유도한다. 이는 다양한 유형의 국소 최소값에서 미니배치 노이즈가 상당히 다름을 드러내며, 큰 학습률이 암묵적 정규화를 유도함으로써 일반화 성능 향상을 설명하고, 극한 조건에서 선형 학습률-배치 크기 스케일링이 실패하는 이유를 밝힌다.

ABSTRACT

The noise in stochastic gradient descent (SGD), caused by minibatch sampling, is poorly understood despite its practical importance in deep learning. This work presents the first systematic study of the SGD noise and fluctuations close to a local minimum. We first analyze the SGD noise in linear regression in detail and then derive a general formula for approximating SGD noise in different types of minima. For application, our results (1) provide insight into the stability of training a neural network, (2) suggest that a large learning rate can help generalization by introducing an implicit regularization, (3) explain why the linear learning rate-batchsize scaling law fails at a large learning rate or at a small batchsize and (4) can provide an understanding of how discrete-time nature of SGD affects the recently discovered power-law phenomenon of SGD.

연구 동기 및 목표

• 유한한 학습률을 가진 이산시간 SGD에서의 미니배치 노이즈에 대한 이론적 이해 부족을 해결하기 위해.
• 국소 최소값 근처에서 SGD 노이즈의 강도와 형태에 대한 정확한 해석적 표현을 유도하기 위해.
• 큰 학습률이 일반화 성능을 향상시키는 이유와 선형 학습률-배치 크기 스케일링 법칙이 극한 조건에서 실패하는 이유를 설명하기 위해.
• SGD의 이산시간 특성이 학습 동역학에서 관찰되는 거듭제곱 법칙 행동에 미치는 영향을 명확히 하기 위해.

제안 방법

• 해결 가능한 케이스인 선형 회귀에서 SGD 노이즈와 파rameter 변동에 대한 정확한 해석적 해를 유도한다.
• 행렬 분해와 추적 기반 근사치를 사용하여 다양한 유형의 최소값에서의 미니배치 노이즈 공분산을 근사하는 일반 공식을 제안한다.
• 연속시간 근사와 헤시안 근사를 기준으로 하여 새로운 이산시간 프레임워크를 검증한다.
• 유도된 노이즈 모델을 1차원 및 고차원 설정에서의 학습/검증 손실, 파rameter 변동, 수렴 조건 분석에 적용한다.
• 학습률과 배치 크기 영향을 포함한 점근적 노이즈 공분산과 파rameter 변동에 대한 추적 기반 근사치를 도입한다.
• 교환 가능한 행렬을 가진 1차원 및 고차원 케이스에서 이론적 분석과 수치적 검증을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 SGD에서의 미니배치 노이즈 강도와 형태는 다양한 유형의 국소 최소값에서 어떻게 달라지나?
• RQ2 임의의 학습률을 가진 이산시간 SGD에서 파rameter 변동의 정확한 해석적 형태는 무엇인가?
• RQ3 왜 학습률과 배치 크기 사이의 선형 스케일링 법칙이 큰 학습률이나 작은 배치 크기에서 실패하는가?
• RQ4 SGD의 이산시간 특성은 학습 동역학에서 관찰되는 거듭제곱 법칙 행동에 어떻게 영향을 미치는가?
• RQ5 학습률은 어떻게 미니배치 노이즈를 통해 암묵적 정규화를 유도하는가?

주요 결과

• SGD의 미니배치 노이즈는 항상 헤시안으로 근사되지 않으며, 그 형태는 국소 최소값의 유형에 따라 달라지며, 일부 영역에서는 일반적인 헤시안 근사가 잘못됨을 입증한다.
• 큰 학습률은 노이즈 구조를 변화시켜 암묵적 정규화를 유도하며, 이는 실무에서 관찰되는 일반화 성능 향상의 이유를 설명한다.
• 학습률이 너무 크거나 배치 크기가 너무 작을 경우, 표준 근사치가 포착하지 못하는 노이즈 공분산의 비선형 효과로 인해 선형 학습률-배치 크기 스케일링 법칙이 실패한다.
• SGD의 이산시간 특성은 파rameter 변동에서 거듭제곱 법칙 유사 행동을 유도하며, 이는 연속시간 근사치로는 설명될 수 없다.
• 1D SGD에서 음의 최적 정규화 파rameter γ를 갖기 위한 필수 조건은 배치 크기 S ≠ 2여야 하며, 학습률은 S와 모델 파rameter를 포함한 비트리비얼한 범위를 만족해야 한다.
• 유도된 파arameter 변동 Σ에 대한 해석적 공식은 학습률, 배치 크기, 곡률을 모두 고려하여 연속시간 또는 헤시안 기반 근사치보다 더 정확한 기술을 제공한다.