[논문 리뷰] Interplay Between Optimization and Generalization of Stochastic Gradient Descent with Covariance Noise.

Yeming Wen, Kevin Luk외 4명|arXiv (Cornell University)|2019. 02. 21.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 19

한 줄 요약

이 논문은 대용량 배치 학습에서 일반화 성능을 향상시키기 위해 확률적 경사 하강법(SGD)의 경사하강 값에 공분산 노이즈를 추가하는 방법을 제안한다. 이는 최적화 속도를 희생시키지 않고도 가능하다. 연구에서는 노이즈의 구조—특히 노이즈 행렬의 프로베니우스 노름—가 경사하강 값의 분산보다 성능을 더 잘 반영함을 보이며, 이론적으로는 이러한 방법이 일반화 성능을 햖을 때 빠른 수렴 속도를 유지함을 실험적으로 검증한다.

ABSTRACT

The choice of batch-size in a stochastic optimization algorithm plays a substantial role for both optimization and generalization. Increasing the batch-size used typically improves optimization but degrades generalization. To address the problem of improving generalization while maintaining optimal convergence in large-batch training, we propose to add covariance noise to the gradients. We demonstrate that the learning performance of our method is more accurately captured by the structure of the covariance matrix of the noise rather than by the variance of gradients. Moreover, over the convex-quadratic, we prove in theory that it can be characterized by the Frobenius norm of the noise matrix. Our empirical studies with standard deep learning model-architectures and datasets shows that our method not only improves generalization performance in large-batch training, but furthermore, does so in a way where the optimization performance remains desirable and the training duration is not elongated.

연구 동기 및 목표

• 대용량 배치 확률적 경사 하강법(SGD)에서 최적화 효율성과 일반화 성능 사이의 상충 관계를 해결하기 위함.
• 특히 공분산 노이즈라는 구조적 노이즈가 최적화 속도를 떨어뜨리지 않고 일반화 성능을 향상시킬 수 있는지 조사하기 위함.
• 노이즈의 공분산 구조가 아니라 그 경사하강 값의 분산으로서의 성능가능성이 더 잘 기술되는지 판단하기 위함.
• 볼록-이차 문제 설정에서 노이즈 행렬의 프로베니우스 노름이 학습 성능을 어떻게 기술하는지 이론적·실험적으로 검증하기 위함.
• 표준 딥러닝 모델에서 제안된 방법이 수렴 속도를 유지하면서도 테스트 정확도를 향상시키는지 보여주기 위함.

제안 방법

• SGD의 경사하강 업데이트에 공분산 구조를 갖는 분포에서 유도된 노이즈 행렬을 추가함으로써 공분산 노이즈를 도입함.
• 노이즈 행렬의 공분산 구조가 직접적으로 매개변수 공간 내 업데이트 방향과 분산에 영향을 주도록 설계함.
• 이론적 분석은 볼록-이차 문제에 집중하며, 일반화 성능이 노이즈 행렬의 프로베니우스 노름에 의해 특징지어짐을 증명함.
• 실험적 평가는 표준 딥러닝 아키텍처(예: ResNet, VGG)를 사용하여 벤치마크 데이터셋(예: CIFAR-10, ImageNet)에서 다양한 배치 크기로 수행됨.
• 학습 중에 제어된 공분산을 갖는 노이즈를 추가하고, 테스트 정확도와 수렴 속도를 성능 측정 지표로 사용함.
• 표준 SGD 및 기타 노이즈 주입 기법과의 비교를 통해 노이즈의 분산과 구조에 대한 분석 실험을 수행함.

실험 결과

연구 질문

• RQ1 대용량 배치 학습에서 SGD 경사하강 값에 공분산 노이즈를 추가함으로써 일반화 성능을 향상시킬 수 있으며, 이는 수렴 속도 저하 없이 가능할까?
• RQ2 노이즈가 있는 SGD의 성능은 노이즈의 공분산 구조로 예측되는 것이지, 그 경사하강 값의 분산으로 예측되는 것이 더 좋은가?
• RQ3 볼록-이차 문제에서 노이즈 행렬의 프로베니우스 노름이 학습 성능을 특징짓는가?
• RQ4 제안된 방법은 표준 딥러닝 환경에서 수렴 속도를 유지하면서도 테스트 정확도를 향상시키는가?
• RQ5 일반화 성능 향상 측면에서 노이즈 행렬의 구조는 등방성 노이즈보다 더 효과적인가?

주요 결과

• 공분산 노이즈의 추가로 대용량 배치 SGD에서 일반화 성능이 크게 향상되어 소용량 배치 학습 수준의 성능을 달성함.
• 볼록-이차 문제에서 일반화 성능은 경사하강 값의 분산보다 노이즈 행렬의 프로베니우스 노름으로 더 잘 기술됨.
• 이론적 분석을 통해 볼록-이차 설정에서 노이즈 행렬의 프로베니우스 노름이 학습 성능을 특징짓는다는 것이 확인됨.
• 실험 결과로 제안된 방법이 빠른 수렴을 유지하며, 대용량 배치에서도 학습 시간이 증가하지 않음.
• 여러 아키텍처와 데이터셋에서 표준 SGD 및 기타 노이즈 주입 기반 방법보다 높은 테스트 정확도를 달성함.
• 노이즈 행렬의 구조—특히 공분산—이 일반화 성능 향상에 등방성 노이즈보다 더 효과적이라는 것이 입증됨.