[논문 리뷰] Stochastic Training is Not Necessary for Generalization

Jonas Geiping, Micah Goldblum외 3명|arXiv (Cornell University)|2021. 09. 29.

Advanced Neural Network Applications참고 문헌 91인용 수 6

한 줄 요약

이 논문은 깊이 있는 신경망에서 일반화를 위해 확률적 훈련이 필수적이지 않음을 입증하며, 명시적 정규화를 사용한 전체 배치 경사하강법이 CIFAR-10에서 최상의 성능(95.68% 정확도)을 달성할 수 있음을 보여준다. 이는 SGD와 유사한 성능을 내며 확률적 요소 없이도 달성할 수 있음을 의미한다. 핵심 통찰은 SGD의 경사 노이즈에서 비롯되는 암묵적 정규화가 기반으로 하는 효과를 기반으로 한 정규화나 극단적인 클리핑을 통해 대체할 수 있으며, 이는 확률적 요소 없이도 강력한 일반화 성능을 달성할 수 있음을 시사한다.

ABSTRACT

It is widely believed that the implicit regularization of SGD is fundamental to the impressive generalization behavior we observe in neural networks. In this work, we demonstrate that non-stochastic full-batch training can achieve comparably strong performance to SGD on CIFAR-10 using modern architectures. To this end, we show that the implicit regularization of SGD can be completely replaced with explicit regularization even when comparing against a strong and well-researched baseline. Our observations indicate that the perceived difficulty of full-batch training may be the result of its optimization properties and the disproportionate time and effort spent by the ML community tuning optimizers and hyperparameters for small-batch training.

연구 동기 및 목표

• 딥 러닝에서 확률적 경사하강법(SGD)이 일반화에 필수적이라는 널리 퍼진 믿음을 도전하기 위해.
• 작은 배치의 무작위성에 의존하지 않고도 SGD의 일반화 이점을 분리하고 재현하기 위해.
• 전체 배치 훈련에서 SGD의 암묵적 정규화를 명시적 정규화로 완전히 대체할 수 있음을 보여주기 위해.
• 적절한 초모수 조정과 정규화를 통해 전체 배치 훈련이 표준 벤치마크에서 SGD 성능을 따라하거나 능가할 수 있는지 조사하기 위해.
• 작은 배치에서 발생하는 경사 노이즈가 과도하게 파rameter화된 모델에서 일반화의 핵심 요소라는 가정을 질문하기 위해.

제안 방법

• 전체 데이터셋(50,000 개)을 사용한 전체 배치 경사하강법으로 CIFAR-10에서 ResNet-18을 훈련.
• Smith 등(2020b)의 기반 정규화 방식을 활용해 기반 경사 정규화를 적용하여 손실 곡면의 날카움을 억제.
• 전체 배치 설정에서의 발산을 방지하기 위해 극단적인 경사 클리핑을 사용하여 훈련을 안정화.
• 헤시안-벡터 곱을 효율적으로 계산하기 위해 전진 차분 근사법을 사용.
• 데이터 증강 없이도 무작위성 없이 훈련할 수 있도록 학습률, 가중치 감쇠, 경사 클리핑을 조정.
• 손실 곡면의 시각화를 통해 전체 배치 훈련 모델과 SGD 훈련 모델 간의 날카움과 일반화 행동을 비교 검증.

실험 결과

연구 질문

• RQ1 데이터 증강 없이도 무작위성 없이 전체 배치 경사하강법이 CIFAR-10에서 SGD와 유사한 일반화 성능을 달성할 수 있는가?
• RQ2 SGD의 암묵적 정규화가 실제로 일반화에 필수적인가, 아니면 명시적 정규화로 대체될 수 있는가?
• RQ3 전체 배치 훈련을 안정화하고 높은 정확도를 달성하기 위해 필요한 초모수 조정은 무엇인가?
• RQ4 경사 클리핑과 명시적 정규화의 조합이 전체 배치 훈련에서 최소점의 날카움에 어떤 영향을 미치는가?
• RQ5 예측 날카움 최소화(SAM)의 이점은 비무작위적, 전체 배치 설정에서도 재현될 수 있는가?

주요 결과

• 데이터 증강을 사용할 경우, 명시적 정규화를 적용한 전체 배치 훈련이 CIFAR-10에서 검증 정확도 95.68% ± 0.09를 달성했으며, 강력한 SGD 기준선과 유사한 성능을 보였다.
• 데이터 증강 없이도, 극단적인 경사 클리핑과 명시적 정규화를 통해 전체 배치 훈련이 95% 이상의 정확도를 달성했다.
• 기반 경사 정규화(Smith 등, 2020b)의 사용이 SGD의 경사 노이즈가 유도하는 일반화 이점을 효과적으로 모방했다.
• 손실 곡면 분석 결과, 적절한 정규화를 적용한 전체 배치 훈련은 SGD와 유사하게 더 평평한 최소점으로 수렴했다.
• 특정 초모수 설정 하에서 기반 정규화와 SAM 간의 등가성이 분석적으로 입증되었으며, 두 방법이 공통된 메커니즘을 공유함을 보였다.
• 결과는 전체 배치 훈련의 어려움이 메서드 자체의 본질적 한계 때문이 아니라 최적화의 불안정성과 초모수 민감도에서 기인함을 시사한다.