[논문 리뷰] SGD with Large Step Sizes Learns Sparse Features

Maksym Andriushchenko, Aditya Varre외 2명|arXiv (Cornell University)|2022. 10. 11.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 큰 스텝 크기를 가진 SGD에서 손실 안정화 단계가 발생하며, 이는 명시적 정규화 없이도 신경망 내에서 희소 특징 표현으로의 암묵적 편향을 유도함을 보여준다. 경험적 및 이론적 분석을 통해 장기간의 안정화가 노이즈 기반 동역학을 강화하여, 신경정렬핵 특징과 연결된 SDE 모델을 통해 SGD가 희소 특징을 학습할 수 있음을 밝혀낸다.

ABSTRACT

We showcase important features of the dynamics of the Stochastic Gradient Descent (SGD) in the training of neural networks. We present empirical observations that commonly used large step sizes (i) lead the iterates to jump from one side of a valley to the other causing loss stabilization, and (ii) this stabilization induces a hidden stochastic dynamics orthogonal to the bouncing directions that biases it implicitly toward sparse predictors. Furthermore, we show empirically that the longer large step sizes keep SGD high in the loss landscape valleys, the better the implicit regularization can operate and find sparse representations. Notably, no explicit regularization is used so that the regularization effect comes solely from the SGD training dynamics influenced by the step size schedule. Therefore, these observations unveil how, through the step size schedules, both gradient and noise drive together the SGD dynamics through the loss landscape of neural networks. We justify these findings theoretically through the study of simple neural network models as well as qualitative arguments inspired from stochastic processes. Finally, this analysis allows us to shed a new light on some common practice and observed phenomena when training neural networks. The code of our experiments is available at https://github.com/tml-epfl/sgd-sparse-features.

연구 동기 및 목표

• 딥 신경망 학습 중 SGD에서 큰 스텝 크기가 미치는 암묵적 정규화 효과를 이해한다.
• 실제로 흔히 관찰되는 손실 안정화가 추가 손실 감소 없이도 일반화 성능 향상으로 이어지는 이유를 조사한다.
• 안정화 단계 동안 희소 특징 학습을 유리하게 만드는 숨겨진 확률적 동역학을 규명한다.
• 관측된 행동을 신경정렬핵 특징에 연결된 다중성 노이즈를 가진 확률적 미분 방정식(SDE) 모델과 연결한다.
• 큰 스텝 크기가 레이지 트레이닝에서 리치 특징 학습 영역으로의 전이를 가능하게 하는 이론적 및 경험적 근거를 제공한다.

제안 방법

• 감소 없이 또는 감소가 있는 조각별 일정 스텝 크기 스케줄을 사용하여 CIFAR-10에서 ResNet-18의 학습 동역학을 경험적으로 분석한다.
• 학습 손실이 더 이상 감소하지 않음에도 불구하고 약간의 변동만을 보이며 일정하게 유지되는 손실 안정화 패턴을 관찰한다.
• 안정화 기간 동안의 느린 동역학을 신경정렬핵(NTK) 특징에 비례하는 다중성 노이즈를 가진 확률적 미분 방정식(SDE)으로 모델링한다.
• CIFAR-10 및 CIFAR-100에서 다양한 아키텍처(ResNet-18, ResNet-34)를 대상으로 예측된 특징 희소성과 실제 네트워크 행동을 비교하여 SDE 모델을 검증한다.
• 작은 스텝 크기는 특징 학습을 방지하고 큰 스텝 크기는 이를 가능하게 함을 확인하기 위해 이중층 티처-스터디 설정을 사용한다.
• 배치 크기의 역할을 분석하여 스텝 크기를 배치 크기 $ B $로 스케일링한 효과적 스텝 크기 $ \gamma \leftarrow \gamma / B $ 를 도입함으로써 동역학이 유지됨을 보여준다.

실험 결과

연구 질문

• RQ1 SGD에서 큰 스텝 크기가 손실 감소를 넘어서 학습 동역학에 미치는 영향은 무엇인가?
• RQ2 손실 안정화 단계 동안 발생하는 숨겨진 확률적 동역학은 일반화 성능 향상으로 이어지는가?
• RQ3 안정화 기간 동안의 특징 희소성 편향은 NTK에 의존하는 노이즈를 가진 SDE로 모델링할 수 있는가?
• RQ4 안정화 단계의 지속 시간이 학습된 특징의 희소성과 일반화 성능에 미치는 영향은 어느 정도인가?
• RQ5 가중치 감소, 배치 정규화, SAM과 같은 일반적인 기법들은 큰 스텝 크기로 인한 암묵적 정규화와 어떻게 관련되는가?

주요 결과

• 큰 스텝 크기는 학습 손실이 약간의 변동만을 보이며 일정하게 유지되는 손실 안정화 단계를 유도하며, 이 단계가 길어질수록 일반화 성능 향상이 이루어진다.
• 안정화 기간 동안 SGD는 기울기와 사라지지 않는 다중성 노이즈 간의 상호작용으로 인해 느린 드리프트를 보이며, 이는 모델이 희소 특징 표현으로 편향되게 한다.
• 안정화 기간 동안의 효과적 동역학은 신경정렬핵(NTK) 특징에 비례하는 노이즈 항을 가진 확률적 미분 방정식(SDE)으로 잘 모델링된다.
• 경험적 결과는 안정화 단계의 지속 시간을 늘릴수록 특징 희소성이 높아지고 테스트 오차가 감소함을 확인하며, 이는 명시적 정규화 없이도 가능하다.
• 특징의 희소성은 일반화 성능 향상과 강하게 상관되며, 스텝 크기 스케줄에 따라 테스트 오차 차이가 최대 12–35%까지 발생한다.
• 배치 정규화 및 가중치 감소와 같은 정규화 기법은 더 큰 스텝 크기를 가능하게 하여 암묵적 희소성 편향을 강화함과 동시에 발산을 방지하며 정규화 효과를 증폭시킨다.