[논문 리뷰] On the Generalization of Stochastic Gradient Descent with Momentum

Ali Ramezani-Kebrya, Antonakopoulos, Kimon외 3명|arXiv (Cornell University)|2018. 09. 12.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 11

한 줄 요약

이 논문은 일반화 성능을 향상시키기 위해 초기 학습 에포크 동안에만 동력을 적용하는 수정된 확률적 경사 하강법(variant)인 조기 동력을 가진 SGD(SGDEM)을 소개한다. 표준 SGDM는 볼록 손실 함수에 대해서도 유한하지 않은 안정성 갭을 가질 수 있음을 증명하지만, SGDEM는 부드럽고 리프시츠 및 강하게 볼록인 함수에 대해 일반화를 보장하며, 기대 진짜 위험에 대한 이론적 경계를 제시하고 ResNet-18 및 로지스틱 회귀 모델에서 실험적으로 검증한다.

ABSTRACT

While momentum-based accelerated variants of stochastic gradient descent (SGD) are widely used when training machine learning models, there is little theoretical understanding on the generalization error of such methods. In this work, we first show that there exists a convex loss function for which the stability gap for multiple epochs of SGD with standard heavy-ball momentum (SGDM) becomes unbounded. Then, for smooth Lipschitz loss functions, we analyze a modified momentum-based update rule, i.e., SGD with early momentum (SGDEM) under a broad range of step-sizes, and show that it can train machine learning models for multiple epochs with a guarantee for generalization. Finally, for the special case of strongly convex loss functions, we find a range of momentum such that multiple epochs of standard SGDM, as a special form of SGDEM, also generalizes. Extending our results on generalization, we also develop an upper bound on the expected true risk, in terms of the number of training steps, sample size, and momentum. Our experimental evaluations verify the consistency between the numerical results and our theoretical bounds. SGDEM improves the generalization error of SGDM when training ResNet-18 on ImageNet in practical distributed settings.

연구 동기 및 목표

• SGDM와 같은 동력 기반 SGD 변형의 일반화에 대한 이론적 이해 부족을 해결하기 위해.
• 여러 에포크에 걸쳐 볼록 손실 함수에 대해서도 표준 SGDM이 유한하지 않은 안정성 갭을 겪을 수 있음을 보여주기 위해.
• 초기 학습 단계 동안에만 동력을 적용하는 수정된 동력 업데이트 규칙인 SGDEM을 제안하여 일반화 보장을 확보하기 위해.
• 학습 스텝 수, 샘플 크기, 동력 매개변수를 고려한 기대 진짜 위험에 대한 상한 경계를 유도하기 위해.
• ResNet-18(ImageNet) 및 로지스틱 회귀(notMNIST/MNIST)에서 이론적 결과를 실험적으로 검증하여 조절된 동력 지속 시간으로 일반화 성능 향상을 보여주기 위해.

제안 방법

• SGDEM을 도입한다. 이는 첫 $ t_d $ 에포크 동안에만 동력을 적용하고 이후에는 비활성화하는 SGDM의 변형으로, 일반화 행동을 제어하기 위함이다.
• 부드럽고 리프시츠 및 강하게 볼록인 손실 함수 하에서 SGDEM의 일반화 오차를 분석하기 위해 통일 안정성 프레임워크를 사용한다.
• 학습 스텝 수, 샘플 크기, 스텝 크기, 동력 매개변수를 포함한 안정성 분석을 통해 기대 진짜 위험에 대한 상한 경계를 도출한다.
• 부드럽고 리프시츠 함수에 대해, SGDEM은 넓은 스텝 크기 조건 하에서 동력 값에 관계없이 일반화됨을 증명한다.
• 강하게 볼록 함수에 대해선, 표준 SGDM(즉, SGDEM의 특수 케이스)이 동력 값이 특정 범위 내에 있을 경우 일반화됨을 확립한다.
• ResNet-18(ImageNet) 및 로지스틱 회귀(notMNIST/MNIST)에서 실험적으로 이론적 경계를 검증하며, 다양한 동력 스케줄링에 따른 일반화 오차와 테스트 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 중력자전 운동을 가진 표준 SGDM은 볼록 손실 함수에 대해 여러 에포크에 걸쳐 유한하지 않은 안정성 갭을 보일까?
• RQ2 SGDEM과 같은 수정된 동력 업데이트 규칙은 넓은 스텝 크기 조건 하에서 부드럽고 리프시츠 손실 함수에 대해 일반화를 보장할 수 있을까?
• RQ3 강하게 볼록 손실 함수의 경우, 표준 SGDM이 일반화되는 동력 값의 범위는 무엇인가?
• RQ4 실제 학습 환경에서 동력 적용 기간($ t_d $)이 일반화 오차에 어떤 영향을 미치는가?
• RQ5 SGDEM에 대해 기대 진짜 위험에 대한 이론적 상한 경계를 도출하고 실험적으로 검증할 수 있는가?

주요 결과

• 특정 볼록 손실 함수에 대해 표준 SGDM의 안정성 갭은 여러 에포크에 걸쳐 유한하지 않게 되며, 이는 일반화에 악영향을 줄 수 있음을 시사한다.
• SGDEM은 넓은 스텝 크기 조건 하에서 동력 값에 관계없이 부드럽고 리프시츠 손실 함수에 대해 일반화됨을 보장한다.
• 강하게 볼록 함수의 경우, 표준 SGDM은 동력 매개변수가 특정 범위 내에 있을 때 일반화되며, 이는 새로운 이론적 기여이다.
• 기대 진짜 위험에 대한 이론적 상한 경계가 도출되었으며, 수치 결과와 일치함을 입증하였으며, 최적의 $ \tilde{t}^* $ 는 비해석적 방정식의 수치적 해법을 통해 결정된다.
• 분산 환경에서 ImageNet으로 훈련된 ResNet-18에서, SGDEM은 90개 에포크 중 50개 에포크 동안만 동력을 적용할 경우 SGDM보다 낮은 일반화 오차를 기록한다.
• notMNIST 및 MNIST에서의 로지스틱 회귀 실험에서, 동력 적용 기간이 제한적일 때 테스트 정확도가 최고에 도달함을 확인하여 장기적인 동력 적용이 일반화 성능을 떨어뜨릴 수 있음을 확인한다.