[논문 리뷰] On Minibatch Noise: Discrete-Time SGD, Overparametrization, and Bayes.

Liu Ziyin, Kangqiao Liu외 2명|arXiv (Cornell University)|2021. 02. 10.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 확률적 경사하강법(SGD)에서 미니배치 노이즈가 나타나는 조건을 조사하며, 레이블 노이즈, 입력 노이즈, 정규화 또는 과소파rametrization로 인한 모델과 데이터 복잡도 간의 불일치가 노이즈가 나타나기 위해 필수적임을 보여준다. 선형 회귀에 대해 해석적으로 풀 수 있는 결과를 도출하고, 일반적인 근사치를 넘어서는 더 정확한 일반화된 미니배치 노이즈 제안을 한다.

ABSTRACT

The noise in stochastic gradient descent (SGD), caused by minibatch sampling, remains poorly understood despite its enormous practical importance in offering good training efficiency and generalization ability. In this work, we study the minibatch noise in SGD. Motivated by the observation that minibatch sampling does not always a fluctuation, we set out to find the conditions that minibatch noise to emerge. We first derive the analytically solvable results for linear regression under various settings, which are compared to the commonly used approximations that are used to understand SGD noise. We show that some degree of mismatch between model and data complexity is needed in order for SGD to cause a noise, and that such mismatch may be due to the existence of static noise in the labels, in the input, the use of regularization, or underparametrization. Our results motivate a more accurate general formulation to describe minibatch noise.

연구 동기 및 목표

• 미니배치 노이즈가 훈련 효율성과 일반화에 핵심적인 역할을 하므로, 항상 존재하지는 않음을 이해하기 위해.
• 최적화 과정에서 실제로 미니배치 노이즈가 나타나는 특정 조건을 규명하기 위해.
• 다양한 설정 하에서 선형 회귀의 미니배치 노이즈에 대해 해석적으로 다룰 수 있는 결과를 도출하기 위해.
• 기존에 널리 사용되는 SGD 노이즈 근사치를 도전하고 개선하기 위해, 더 정확한 일반화된 제안 모델을 제시하기 위해.

제안 방법

• 정규화 유무에 관계없이 다양한 설정에서 선형 회귀에 대한 SGD의 노이즈 공분산을 해석적으로 유도하기 위해.
• 문헌에서 널리 사용되는 표준 근사치(예: 일정한 피셔 정보 근사)와 정확한 해석적 결과를 비교하기 위해.
• 특히 레이블 노이즈나 입력 노이즈가 존재할 경우, 모델 복잡도가 데이터 복잡도에 비해 어떤 역할을 하는지 분석하기 위해.
• 정규화와 과소파rametrization이 어떻게 미니배치 노이즈의 발생에 기여하는지 조사하기 위해.
• 모델-데이터 복잡도 불일치를 고려한 일반 노이즈 모델을 제안하여 단순화된 가정을 넘어서기 위해.

실험 결과

연구 질문

• RQ1 미니배치 노이즈가 평균화되지 않고 실제로 SGD에서 나타나는 조건은 무엇인가?
• RQ2 모델 복잡도와 데이터 복잡도 간의 불일치가 미니배치 노이즈 발생에 어떤 영향을 미치는가?
• RQ3 SGD 노이즈에 대한 일반적인 근사치가 선형 모델에서 진정한 노이즈 행동을 얼마나 잘못 포착하는가?
• RQ4 레이블 노이즈, 입력 노이즈, 정규화, 과소파arametrization이 어떻게 미니배치 노이즈를 가능하게 하는가?
• RQ5 모델-데이터 복잡도 불일치를 고려한 더 정확한 일반화된 미니배치 노이즈 제안 모델을 도출할 수 있는가?

주요 결과

• 미니배치 노이즈는 레이블 노이즈나 입력 노이즈가 존재하는 경우를 제외하고는 나타나지 않으며, 모델과 데이터 복잡도 간의 불일치가 있어야 한다.
• 노이즈가 나타나기 위해서는 과소파arametrization 또는 정규화의 정도가 필요하며, 노이즈 성분이 없는 과다파라미터화된 모델은 기울기의 진동을 보이지 않을 수 있다.
• 고정된 피셔 정보를 가정하는 것과 같은 일반적인 SGD 노이즈 근사치는 모델-데이터 불일치가 존재할 경우 진정한 노이즈 역학을 포착하지 못한다.
• 선형 회귀에 대한 분석 결과는 노이즈 분산이 정규화 강도 및 입력 또는 레이블의 노이즈 분산에 따라 명시적으로 모델-데이터 복잡도 불일치 수준에 의존함을 보여준다.
• 연구는 모델 복잡도가 데이터 복잡도에 비해 어떤지를 고려한 개선된 일반화된 미니배치 노이즈 제안 모델을 제안하며, 이는 이전 근사치보다 정확도를 향상시킨다.