[논문 리뷰] An Empirical Study of Large-Batch Stochastic Gradient Descent with Structured Covariance Noise

Yeming Wen, Kevin Luk외 4명|arXiv (Cornell University)|2019. 02. 21.

Stochastic Gradient Optimization Techniques참고 문헌 65인용 수 12

한 줄 요약

이 논문은 최적화 속도를 희생시키지 않고 일반화 성능을 햖थ시키기 위해 대용량 배치 확률적 경사 하강법(SGD)에 구조적 공분산 노이즈—특히 대각 Fisher 노이즈—를 도입하는 것을 제안한다. 단순히 분산만이 아니라 노이즈의 구조를 활용함으로써, 이 방법은 대용량 배치 학습에서도 소용량 배치의 일반화 성능을 달성한다. 실험 결과로는 수렴 속도가 빠르고, 소용량 배치 SGD와 유사한 테스트 정확도를 보였다.

ABSTRACT

The choice of batch-size in a stochastic optimization algorithm plays a substantial role for both optimization and generalization. Increasing the batch-size used typically improves optimization but degrades generalization. To address the problem of improving generalization while maintaining optimal convergence in large-batch training, we propose to add covariance noise to the gradients. We demonstrate that the learning performance of our method is more accurately captured by the structure of the covariance matrix of the noise rather than by the variance of gradients. Moreover, over the convex-quadratic, we prove in theory that it can be characterized by the Frobenius norm of the noise matrix. Our empirical studies with standard deep learning model-architectures and datasets shows that our method not only improves generalization performance in large-batch training, but furthermore, does so in a way where the optimization performance remains desirable and the training duration is not elongated.

연구 동기 및 목표

• 더 큰 배치 크기를 사용할수록 최적화는 향상되지만 일반화 성능이 떨어지는 대용량 배치 SGD 학습에서의 일반화 갭을 해결한다.
• 최적화 행동을 더 잘 기술할 수 있는, 단지 분산을 넘어서 노이즈의 구조가 중요한지 여쭙는다.
• 빠른 수렴을 유지하면서도 대용량 배치 환경에서 일반화 성능을 향상시키는 노이즈 주입 방법을 개발한다.
• 전체 Fisher 또는 등방향 노이즈와 비교해 대각 Fisher 노이즈가 일반화와 최적화 속도 사이의 균형을 더 유리하게 제공하는지 입증한다.
• 비볼록 딥 러닝 설정에서 노이즈 공분산 구조와 수렴 간의 이론적이고 경험적인 연결 고리를 확립한다.

제안 방법

• 소용량 배치와 대용량 배치 간의 경사 하강 벡터 차이를 노이즈로 모델링하기 위해, Fisher 정보 행렬의 대각선에서 유도된 공분산 구조를 가진 경사 노이즈를 대용량 배치 SGD 업데이트에 도입한다.
• 로그우도 손실 하에서 Fisher 정보 행렬을 사용해, 소용량과 대용량 배치의 경사 하강 간의 차이를 노이즈로 모델링한다.
• 계산 비용을 줄이고 수렴 속도를 향상시키기 위해 전체 Fisher 노이즈를 대각 Fisher 노이즈로 대체한다.
• 이론적 분석을 통해 볼록-이차 설정에서 수렴은 노이즈 공분산 행렬의 프로베니우스 노름에 의해 특징지어진다.
• 고정된 학습 에포크 수를 기준으로 표준 딥 러닝 모델(예: CIFAR-10에서의 ResNet44)에 대해 경험적으로 방법을 검증한다.
• 기준선 방법들과의 비교: 소용량 배치 SGD, 대용량 배치 SGD, 등방향 노이즈를 사용한 대용량 배치 SGD, 전체 Fisher 노이즈를 사용한 대용량 배치 SGD.

실험 결과

연구 질문

• RQ1 특정 공분산 행렬을 가진 구조적 노이즈가 최적화 속도를 떨어뜨리지 않고 대용량 배치 SGD의 일반화 성능을 향상시킬 수 있는가?
• RQ2 최적화 행동을 예측하는 데 있어 단지 경사 하강 분산만으로 충분한가, 아니면 노이즈 구조가 더 중요한 역할을 하는가?
• RQ3 특히 대각 대비 전체 Fisher 공분산을 선택할 경우, 대용량 배치 학습에서 수렴과 일반화에 어떤 영향을 미치는가?
• RQ4 대각 Fisher 노이즈가 대용량 배치 학습의 효율성을 유지하면서도 소용량 배치 SGD의 일반화 성능을 재현할 수 있는가?
• RQ5 비볼록 딥 러닝 문제에서 노이즈 공분산 구조와 수렴 간의 이론적 관계는 무엇인가?

주요 결과

• 대용량 배치 SGD에 대각 Fisher 노이즈를 적용하면, 동일한 학습 에포크 수 내에서 소용량 배치 SGD와 유사한 일반화 성능을 달성한다.
• 높은 경사 하강 분산을 가진 상태에서도, 대각 Fisher 노이즈를 사용한 대용량 학습은 전체 Fisher 노이즈를 사용한 경우보다 수렴 속도가 크게 빠르다.
• 전체 Fisher 노이즈의 경우 수렴 속도가 매우 느려져, 8000개의 파라미터 업데이트 이후에도 실용적으로 사용하기 어려울 정도이다.
• 이론적 분석 결과, 볼록-이차 설정에서 수렴은 노이즈 공분산 행렬의 프로베니우스 노름에 의해 특징지워진다.
• 경험적 결과로, 비볼록 딥 러닝 설정에서도 노이즈 행렬의 프로베니우스 노름이 최적화 행동을 강력하게 예측하는 것으로 확인되었다.
• 대각 Fisher 노이즈는 일반화와 수렴 속도의 균형을 맞추는 데 있어 등방향 가우시안 노이즈와 전체 Fisher 노이즈보다 뛰어난 성능을 보였다.