[논문 리뷰] The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations, and Anomalous Diffusion

Daniel Kunin, Javier Sagastuy-Breña외 5명|arXiv (Cornell University)|2021. 07. 19.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 최적화 수렴 후에도 확률적 경사 하강법(SGD)이 손실 함수의 수정과 최적화 하이퍼파rameter, 기울기 노이즈로 인한 비평형 확률 흐름으로 인해 매개변수 공간에서 비정상 확산(anomalous diffusion)을 유도함을 밝혀낸다. 연속 시간의 과소된 랑주뱅 모델을 사용하여 선형 회귀에서 정확한 역학을 유도하고, ImageNet의 ResNet-18에서 예측을 검증하여 이론과 실험 간 정밀한 정량적 일치를 보이며, 비정상 확산 지수와순간 속도에 대해 정확한 일致를 보인다.

ABSTRACT

In this work we explore the limiting dynamics of deep neural networks trained with stochastic gradient descent (SGD). As observed previously, long after performance has converged, networks continue to move through parameter space by a process of anomalous diffusion in which distance travelled grows as a power law in the number of gradient updates with a nontrivial exponent. We reveal an intricate interaction between the hyperparameters of optimization, the structure in the gradient noise, and the Hessian matrix at the end of training that explains this anomalous diffusion. To build this understanding, we first derive a continuous-time model for SGD with finite learning rates and batch sizes as an underdamped Langevin equation. We study this equation in the setting of linear regression, where we can derive exact, analytic expressions for the phase space dynamics of the parameters and their instantaneous velocities from initialization to stationarity. Using the Fokker-Planck equation, we show that the key ingredient driving these dynamics is not the original training loss, but rather the combination of a modified loss, which implicitly regularizes the velocity, and probability currents, which cause oscillations in phase space. We identify qualitative and quantitative predictions of this theory in the dynamics of a ResNet-18 model trained on ImageNet. Through the lens of statistical physics, we uncover a mechanistic origin for the anomalous limiting dynamics of deep neural networks trained with SGD.

연구 동기 및 목표

• 학습 수렴 후에도 지속되는 비평형 매개변수 공간 역학, 즉 비정상 확산으로 나타나는 깊은 신경망의 동역학을 설명하는 것.
• 최적화 하이퍼파rameter, 기울기 노이즈의 구조, 수렴 시 헤시안 행렬과의 연결을 통해 이러한 동역학의 기계적 기원을 규명하는 것.
• 유한 학습률과 배치 크기 유도 노이즈를 고려한 연속 시간의 과소된 랑주앙 방정식으로 SGD를 모델링하는 연속 시간 모델을 개발하는 것.
• 선형 회귀에서 매개변수 역학의 정적 분포를 해석적으로 유도하고, 이가 원래 학습 손실이 아닌 수정된 손실 함수에 대한 깁스 측도임을 보여주는 것.
• 실세계 모델인 ImageNet에서의 ResNet-18에 대한 이론 예측을 검증하여 실험적 비정상 확산과의 정량적 일치를 보이는 것.

제안 방법

• 유한 학습률과 배치 크기 유도 노이즈를 고려한 연속 시간 과소된 랑주앙 방정식을 유도하여, 최적화 과정을 확률적 동역학계로 모델링하는 것.
• 선형 회귀에서 포커-플랑크 방정식을 분석하여 정적 분포가 원래 학습 손실이 아닌 수정된 손실 함수에 대한 깁스 측도임을 보여주는 것.
• 수정된 손실 함수가 세부 균형을 깨뜨려 비영인 확률 전류를 유도하고, 이로 인해 위상공간(매개변수와 속도)에서 진동하는 운동이 발생함을 증명하는 것.
• 데이터 공분산 행렬의 고유기저에서 매개변수 공간 역학을 감쇠된 조화 진동자들의 합으로 표현하여 모멘트에 대한 정확한 해석적 해를 도출하는 것.
• 포커-플랑크 방정식을 사용하여 정적 분포를 유도하고, 시스템이 비평형 정상 상태 행동을 보이며 지속적인 운동을 유도함을 보이는 것.
• ImageNet에서 프리트레인된 ResNet-18 모델에 대한 이론 예측을 검증하여 매개변수 궤적을 추적하고, 전체 이동 거리에 대해 힘의 법칙을 피팅하여 비정상 확산 지수를 추출하는 것.

실험 결과

연구 질문

• RQ1 학습 수렴 후에도 매개변수 공간에서 지속되는 비평형 운동을 이끄는 원인가?
• RQ2 학습률, 배치 크기, 모멘텀 등의 최적화 하이퍼파rameter가 제한 동역학에서 비정상 확산 지수와 순순 속도에 정량적으로 미치는 영향은 무엇인가?
• RQ3 헤시안 행렬과 기울기 노이즈의 구조가 SGD의 위상공간 역학을 어떻게 형성하는가?
• RQ4 매개변수 역학의 정적 분포가 원래 학습 손실과 일치하는가, 아니면 수정된 암묵적 정규화 항에 의해 지배되는가?
• RQ5 과소된 랑주앙 역학 기반 이론 프레임워크가 실세계 모델인 ImageNet의 ResNet-18에서 실험적 비정상 확산 행동을 정량적으로 예측할 수 있는가?

주요 결과

• SGD의 제한 동역학은 원래 학습 손실이 아니라, 속도를 암묵적으로 정규화하는 수정된 손실 함수에 의해 지배되며, 이로 인해 비평형 정상 상태가 형성된다.
• 세부 균형이 깨진 비영인 확률 전류가 위상공간에서 발생하여 진동적이고 비확산적 운동을 이끌며, 이는 수렴 후에도 지속적인 매개변수 이동을 설명한다.
• 선형 회귀에서는 데이터 공분산 행렬의 고유기저에서 감쇠된 조화 진동자들의 합으로 위상공간 역학이 정확히 해석 가능하다.
• ImageNet에서 훈련된 ResNet-18의 비정상 확산 지수와 순순 속도는 이론 모델에 의해 정확히 예측되며, 실험 측정치와 정확한 일致를 보인다.
• 원래 손실 곡면이 매우 이방성임에도 불구하고, ResNet-18의 제한 동역학은 매개변수 공간에서 등방성 행동을 보이며, 이론 모델의 예측과 일致한다.
• 적합된 비정상 확산 지수는 궤적 길이가 길어질수록 증가하며, 이는 시간이 지남에 따라 지배적인 항이 나타나는 거듭 제곱 법칙의 합과 일치함을 시사한다.