[논문 리뷰] Coupling Adaptive Batch Sizes with Learning Rates

Lukas Balles, Javier Romero외 1명|arXiv (Cornell University)|2016. 12. 15.

Stochastic Gradient Optimization Techniques참고 문헌 14인용 수 24

한 줄 요약

이 논문은 CABS(Coupled Adaptive Batch Sizes)를 제안하며, 실시간로드 기반으로 기울기 분산 추정치를 바탕으로 확률적 경사 하강법에서 배치 크기를 동적으로 조정하고, 이를 직접적으로 학습률과 결합하는 방법을 제시한다. 이 방법은 감소하는 학습률 스케줄이 필요 없이 최적화의 분산을 줄여주며, 이미지 분류 벤치마크에서 더 빠른 수렴 속도와 학습률 초모수 조정에 대한 민감도를 감소시킨다.

ABSTRACT

Mini-batch stochastic gradient descent and variants thereof have become standard for large-scale empirical risk minimization like the training of neural networks. These methods are usually used with a constant batch size chosen by simple empirical inspection. The batch size significantly influences the behavior of the stochastic optimization algorithm, though, since it determines the variance of the gradient estimates. This variance also changes over the optimization process; when using a constant batch size, stability and convergence is thus often enforced by means of a (manually tuned) decreasing learning rate schedule. We propose a practical method for dynamic batch size adaptation. It estimates the variance of the stochastic gradients and adapts the batch size to decrease the variance proportionally to the value of the objective function, removing the need for the aforementioned learning rate decrease. In contrast to recent related work, our algorithm couples the batch size to the learning rate, directly reflecting the known relationship between the two. On popular image classification benchmarks, our batch size adaptation yields faster optimization convergence, while simultaneously simplifying learning rate tuning. A TensorFlow implementation is available.

연구 동기 및 목표

• 확률적 경사 하강법에서 최적화의 안정성과 효율성을 균형 잡는 문제를 동적으로 배치 크기를 조정하여 해결한다.
• 기울기 분산을 통해 학습률과 배치 크기를 결합함으로써 감소하는 학습률 스케줄을 수동으로 조정할 필요 없이 제거한다.
• 딥러닝에서 초모수 조정을 단순화하기 위해 학습률 선택에 대한 민감도를 감소시킨다.
• 표준 벤치마크에서 일반화 성능을 유지하거나 향상시키면서 훈련 수렴 속도를 향상시킨다.

제안 방법

• CABS는 작은 미니배치를 사용하여 기울기 공분산 행렬의 대각선을 추정함으로써 각 파라미터별 분산(진짜 기울기 분산 근사)을 추정한다.
• 이론적으로 분산, 학습률, 수렴 간의 관계를 바탕으로 현재 목표 함수 값과 학습률에 비례하여 동적으로 배치 크기를 증가시킨다.
• 비용 단위당 기대 진전을 최대화하는 최적의 배치 크기를 결정하기 위해 닫힌 형태의 해를 사용한다.
• 학습률과 배치 크기를 결합하여 기울기 추정의 노이즈 수준이 학습률에 비례하도록 하여 최적화를 안정화시킨다.
• 알고리즘은 텐서플로우에 구현되었으며, 초기 학습률 외에 추가 초모수가 필요하지 않다.

실험 결과

연구 질문

• RQ1 실시간 기울기 분산 추정치를 기반으로 한 동적 배치 크기 적응이 딥러닝에서 최적화 수렴을 향상시킬 수 있는가?
• RQ2 학습률에 배치 크기를 연결함으로써 감소하는 학습률 스케줄이 필요 없어지는가?
• RQ3 CABS는 훈련 성능이 학습률 선택에 민감도를 감소시킬 수 있는가?
• RQ4 수렴 속도와 최종 정확도 측면에서 CABS는 고정 및 다른 적응형 배치 크기 전략과 어떻게 비교되는가?

주요 결과

• CABS는 MNIST, SVHN, CIFAR-10, CIFAR-100 벤치마크에서 일정한 배치 크기 방법보다 더 빠른 최적화 수렴을 달성한다.
• 이 방법은 학습률 초모수 조정에 대한 의존도를 크게 감소시켜, 학습률 민감도 실험에서 일정한 방법과 경쟁하는 적응형 배치 크기 기법을 모두 능가한다.
• 네 가지 벤치마크 전반에서 CABS는 더 큰 비효율적인 배치 크기(예: 128, 512)보다 훈련 속도가 더 빠르며, 평균적으로 더 작은 배치 크기를 사용한다.
• CABS는 훈련의 대부분을 최소 배치 크기(16)로 사용하고, 문제의 복잡도에 따라 약 선형적으로 증가시킨다.
• 모든 기준선과 비교해 유사한 테스트 정확도를 달성하면서 수동 학습률 조정의 필요성을 줄였다.