[논문 리뷰] Big Batch SGD: Automated Inference using Adaptive Batch Sizes

Soham De, Abhay Kumar Yadav외 2명|arXiv (Cornell University)|2016. 10. 18.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 39

한 줄 요약

이 논문은 기울기 추정의 신호 대 잡음 비율을 일정하게 유지하기 위해 시간이 지남에 따라 배치 크기를 동적으로 증가시키는 Big Batch SGD라는 적응형 최적화 방법을 제안한다. 기울기 품질을 안정화시킴으로써 일정하거나 자동으로 조정되는 스텝 사이즈를 가능하게 하여 수동 학습률 스케줄링이 필요 없으며, 최소한의 하이퍼파rameter 튜닝으로도 최적화된 SGD와 유사한 성능을 달성한다.

ABSTRACT

Classical stochastic gradient methods for optimization rely on noisy gradient approximations that become progressively less accurate as iterates approach a solution. The large noise and small signal in the resulting gradients makes it difficult to use them for adaptive stepsize selection and automatic stopping. We propose alternative "big batch" SGD schemes that adaptively grow the batch size over time to maintain a nearly constant signal-to-noise ratio in the gradient approximation. The resulting methods have similar convergence rates to classical SGD, and do not require convexity of the objective. The high fidelity gradients enable automated learning rate selection and do not require stepsize decay. Big batch methods are thus easily automated and can run with little or no oversight.

연구 동기 및 목표

• 기본적인 확률적 기울기 하강법(SGD)에서 수렴에 가까워질수록 발생하는 기울기 추정의 노이즈 문제를 해결하기 위해.
• 적응형 배치 크기 조절을 통해 기울기의 신호 대 잡음 비율을 안정화시켜, SGD에서 수동 학습률 감소 스케줄링이 필요 없도록 하기 위해.
• growing 배치에서의 고정밀 기울기 정보를 활용하여 최소한의 사용자 간섭으로도 완전 자동 최적화를 가능하게 하기 위해.
• 전문가가 튜닝한 하이퍼파rameter가 필요 없이 비볼록 문제, 특히 딥 네ural 네트워크에서 수렴성과 일반화 성능을 향상시키기 위해.

제안 방법

• 기울기 추정의 거의 일정한 신호 대 잡음 비율을 유지하기 위해 시간이 지남에 따라 배치 크기를 적응적으로 증가시킨다.
• 감소하는 스텝 사이즈 스케줄링이 필요 없도록 일정한 스텝 사이즈 또는 자동 백트래킹 선 탐색을 사용한다.
• 저분산 기울기 정보를 활용하여 빠른 수렴을 이끌어내는 바르지라이-보우인 곡률 기반 적응형 스텝 사이즈 방법을 적용한다.
• 목적 함수의 볼록성이 필요 없이도 수렴 보장을 유지한다.
• 해결책 근처에서 근사 기울기가 점점 사라지는 경우, 폴리악-로자셰비츠 불등식을 만족하는 문제에서 자동 정지 기준을 가능하게 한다.
• 더 정확한 대용량 배치 기울기를 사용하여 고차원 방법(L-BFGS 등)의 계산 오버헤드를 분산 처리한다.

실험 결과

연구 질문

• RQ1 적응형 배치 크기 증가가 기울기 추정을 안정화시키고 SGD에서 일정하거나 자동 조정되는 스텝 사이즈를 가능하게 할 수 있는가?
• RQ2 기울기의 신호 대 잡음 비율을 일정하게 유지하면 비볼록 최적화에서 더 빠른 수렴과 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 Big Batch SGD는 수동 학습률 튜닝이 필요 없이 최적화된 SGD와 동일하거나 그 이상의 성능을 달성할 수 있는가?
• RQ4 Big Batch SGD는 딥 러닝 벤치마크에서 어드옵티마이저나 L-BFGS와 같은 적응형 방법과 비교해 어떻게 성능을 내는가?
• RQ5 대용량 배치에서 유도된 고정밀 기울기 정보가 최적화에서 자동 정지 기준을 지원할 수 있는가?

주요 결과

• 백트래킹 선 탐색을 사용한 Big Batch SGD는 CIFAR-10, SVHN, MNIST에서 고정 스텝 사이즈 SGD와 AdaDelta보다 우수한 성능을 보이며, 하이퍼파rameter 튜닝 없이도 유사하거나 더 높은 테스트 정확도를 달성한다.
• 이 방법은 학습률 스케줄링에 대한 광범위한 그리드 서치가 필요 없이 정교하게 튜닝된 SGD와 유사한 성능을 달성한다.
• Big Batch AdaDelta는 대규모 데이터셋(CIFAR-10 및 SVHN)에서 표준 AdaDelta를 초월하며, MNIST에서는 성능이 구분되지 않을 정도로 유사하다.
• 대용량 배치 기반 바르지라이-보우인 적응형 스텝 사이즈 방법은 볼록 문제에서 백트래킹 선 탐색보다 더 빠른 수렴을 보인다.
• Big batch 방법은 폴리악-로자셰비츠 문제에서 수렴 근처에서 기울기 근사치가 사라지므로 자동 정지 기준을 가능하게 한다.
• 더 큰 배치로 인한 높은 계산 대 통신 비율 덕분에 분산 환경에서도 매우 효율적이다.