[논문 리뷰] On the Validity of Modeling SGD with Stochastic Differential Equations (SDEs)

Zhiyuan Li, Sadhika Malladi외 1명|arXiv (Cornell University)|2021. 02. 24.

Neural Networks and Applications참고 문헌 46인용 수 18

한 줄 요약

이 논문은 유한 학습률을 가진 확률적 경사하강법(SGD)을 이토 스토크래스틱 미분방정식(SDE)으로 모델링하는 데 이론적이고 경험적으로 검증을 제공하며, SDE를 증명 가능하게 근사하는 효율적인 시뮬레이션 방법(SVAG)을 제안한다. SDE 근사가 성립하기 위한 필수 조건—즉, 평형 상태에서 기울기 노름이 잡음 분산보다 작아야 한다—를 수립하고, 이 조건이 정규화층을 갖는 딥 네트워크에서 선형 스케일링 규칙의 실패를 예측할 수 있음을 보여준다.

ABSTRACT

It is generally recognized that finite learning rate (LR), in contrast to infinitesimal LR, is important for good generalization in real-life deep nets. Most attempted explanations propose approximating finite-LR SGD with Ito Stochastic Differential Equations (SDEs), but formal justification for this approximation (e.g., (Li et al., 2019)) only applies to SGD with tiny LR. Experimental verification of the approximation appears computationally infeasible. The current paper clarifies the picture with the following contributions: (a) An efficient simulation algorithm SVAG that provably converges to the conventionally used Ito SDE approximation. (b) A theoretically motivated testable necessary condition for the SDE approximation and its most famous implication, the linear scaling rule (Goyal et al., 2017), to hold. (c) Experiments using this simulation to demonstrate that the previously proposed SDE approximation can meaningfully capture the training and generalization properties of common deep nets.

연구 동기 및 목표

• 현재 히우리스틱에 가까운 방식으로 사용되고 있는, 유한 학습률을 가진 SGD에 대한 이토 SDE의 연속시간 근사를 공식적으로 정당화하기 위해.
• 세밀한 시간 적분이 필요하기 때문에 SDE 근사의 경험적 검증이 계산적으로 비현실적인 문제를 해결하기 위해.
• 딥 러닝 환경에서 SDE 근사가 유효하기 위한 이론적으로 타당하고 시험 가능한 필수 조건을 제공하기 위해.
• 큰 학습률과 배치 크기에서 널리 사용되는 선형 스케일링 규칙(LSR)이 실패하는 이유를 조사하고, 특히 정규화 기반 네트워크에서 이를 예측하기 위해.
• SDE 근사가 실제 딥 네트워크의 학습 동역학과 일반화 행동을 의미 있게 반영할 수 있음을 보여주기 위해.

제안 방법

• SDE 근사의 약한 1차 수렴을 증명할 수 있는 새로운 수치적 방법인 SVAG(스토캐스틱 밸런스 증폭 기울기)를 제안한다.
• 연속시간 SDE 모델을 사용한다: dX_t = -∇L(X_t)dt + (ηΣ(X_t))^{1/2} dW_t, 여기서 Σ(X_t)는 기울기 노이즈 공분산이다.
• SDE 근사가 성립하기 위한 필수 조건을 유도한다: 평형 상태에서 기울기 노름의 제곱이 잡음 분산보다 작아야 한다(‖∇L‖² < Var(∇L_γ)).
• 딥 네트워크를 사용하여 CIFAR-10, CIFAR-100, SVHN에서 SVAG 궤적과 실제 SGD를 비교하여 SDE 근사의 경험적 검증을 수행한다.
• 학습 단계 동안 G_t/N_t(기울기 대 잡음 비율)를 측정하여 선형 스케일링 규칙의 실패를 예측하기 위해 조건을 적용한다.
• NGD 실험에서 배치 정규화 대신 그룹 정규화를 사용하여 SGD의 기울기 노이즈 공분산과 더 잘 일치시킨다.

실험 결과

연구 질문

• RQ1 유한 학습률을 가진 SGD에 대한 이토 SDE 근사는 어떤 조건에서 수학적으로 타당한가?
• RQ2 SVAG와 같은 계산적으로 효율적인 시뮬레이션 방법이 실제로 SGD의 동역학을 신뢰성 있게 재현하고 SDE 근사를 검증할 수 있는가?
• RQ3 왜 큰 학습률과 배치 크기에서 선형 스케일링 규칙이 실패하는가? 이는 이론적 조건으로 예측할 수 있는가?
• RQ4 SDE 근사는 실제 딥 네트워크의 일반화 및 학습 행동을 정확히 반영하는가?
• RQ5 기울기 노름 대 잡음 분산 비율은 SDE 근사 유효성과 선형 스케일링 규칙 실패를 신뢰성 있게 예측하는 데 유용한가?

주요 결과

• SVAG는 이토 SDE 근사에 수렴하며 실질적으로 SGD 궤적을 잘 따라가므로, SDE 모델이 의미 있는 근사임을 검증한다.
• SDE 유효성에 대한 필수 조건인 ‖∇L‖² < Var(∇L_γ)는 경험적으로 선형 스케일링 규칙 실패를 강력하게 예측하는 것으로 관찰된다.
• 기울기 대 잡음 비율 G_t/N_t가 임계값(C²=2)을 초과할 경우 선형 스케일링 규칙이 실패하며, 이 임계값은 경험적 실패 지점과 일치한다.
• CIFAR-10, CIFAR-100, SVHN에서의 실험 결과, SVAG와 SGD는 거의 동일한 학습 및 테스트 곡선을 보이며 SDE 근사의 정밀도를 확인한다.
• 노이즈 공분산을 일치시킨 NGD는 SGD 성능을 거의 완벽하게 재현하며, 노이즈 구조가 유지될 경우 SDE 프레임워크의 타당성을 추가로 검증한다.
• 조건 G_t/N_t ≈ C²는 필요조건일 뿐 아니라, 다양한 아키텍처와 데이터셋에서 선형 스케일링 규칙 실패를 예측하는 데 거의 충분한 조건임을 확인한다.