[논문 리뷰] Online Batch Selection for Faster Training of Neural Networks

Ilya Loshchilov, Frank Hutter|arXiv (Cornell University)|2015. 11. 19.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 171

한 줄 요약

이 논문은 최근 손실 값이 높은 학습 샘플을 순위 매기고 지수 감쇠 확률로 샘플링함으로써 더 높은 최근 손실을 가진 샘플을 우선순위로 지정하는 온라인 배치 선택 전략을 제안한다. MNIST에서의 실험 결과, Adam과 AdaDelta 최적화기 모두에서 수렴 속도가 약 5배 향상되어 최적화 알고리즘을 수정하지 않고도 훈련 속도를 크게 향상시킨다.

ABSTRACT

Deep neural networks are commonly trained using stochastic non-convex optimization procedures, which are driven by gradient information estimated on fractions (batches) of the dataset. While it is commonly accepted that batch size is an important parameter for offline tuning, the benefits of online selection of batches remain poorly understood. We investigate online batch selection strategies for two state-of-the-art methods of stochastic gradient-based optimization, AdaDelta and Adam. As the loss function to be minimized for the whole dataset is an aggregation of loss functions of individual datapoints, intuitively, datapoints with the greatest loss should be considered (selected in a batch) more frequently. However, the limitations of this intuition and the proper control of the selection pressure over time are open questions. We propose a simple strategy where all datapoints are ranked w.r.t. their latest known loss value and the probability to be selected decays exponentially as a function of rank. Our experimental results on the MNIST dataset suggest that selecting batches speeds up both AdaDelta and Adam by a factor of about 5.

연구 동기 및 목표

• 고정된 배치 크기의 확률적 최적화를 초월해 온라인으로 훈련 배치를 선택하는 것이 딥 네ural 네트워크 훈련 속도를 가속화할 수 있는지 조사하는 것.
• Adam과 AdaDelta와 같은 최신 최적화 알고리즘의 수렴 속도 향상에 기여할 잠재력이 아직 충분히 탐색되지 않은 적응형 배치 선택의 잠재력을 다루는 것.
• 실시간으로 개별 데이터 포인트의 손실 값을 기반으로 동적으로 배치를 선택하는 단순하고 효과적인 전략을 개발하고 평가하는 것.
• 고손실 샘플에 집중하는 것이 모델 성능을 저하시키지 않고도 훈련 시간을 단축시킬 수 있음을 입증하는 것.

제안 방법

• 각 훈련 데이터 포인트는 최근에 계산된 손실 값에 따라 순위가 매겨지며, 높은 손실 값을 가진 포인트가 더 높은 순위를 받는다.
• 배치에 포함될 확률은 순위에 따라 지수 감쇠하게 설정되어, 가장 큰 손실을 가진 샘플을 우선 선택한다.
• 계산 비용과 적응성의 균형을 위해 주기적으로 업데이트되며, 설정 가능한 빈도(r_freq)로 수행된다.
• 이 방법은 Adam과 AdaDelta 최적화기 모두에 적용되며, 원래의 업데이트 규칙을 유지하지만 배치 샘플링 절차만 수정된다.
• 손실 함수의 순위 유지 변환에 대해 불변이므로 스케일링에 대해 강건함을 보장한다.
• 필요한 경우 이분법 기반 접근을 사용하여 재정렬을 비용이 많이 들지 않게 하여 오버헤드를 낮춘다.

실험 결과

연구 질문

• RQ1 실시간 손실 값에 기반한 온라인 배치 선택이 균일한 랜덤 샘플링에 비해 딥 네ural 네트워크 훈련 속도를 가속화할 수 있는가?
• RQ2 손실 크기에 따라 비균일하게 배치를 선택할 경우 Adam과 AdaDelta의 성능는 어떻게 변화하는가?
• RQ3 수렴 속도를 극대화하기 위해 손실 순위에 따라 선택 확률의 최적 감쇠 스케줄은 무엇인가?
• RQ4 동적 배치 선택의 계산 오버헤드는 얻어진 훈련 속도 향상과 비교해 어떻게 되는가?
• RQ5 제안된 방법은 MNIST를 초월해 CIFAR-10과 같은 다른 데이터셋으로 일반화되는가?

주요 결과

• 손실 순위 기반 온라인 배치 선택은 MNIST 데이터셋에서 Adam과 AdaDelta 모두 훈련 시간을 약 5배 단축시킨다.
• 기본 최적화 알고리즘을 수정하거나 추가 하이퍼파라미터 튜닝이 필요 없이도 뚜렷한 속도 향상을 달성한다.
• 성능 향상은 두 최적화기 모두에서 일관되게 나타나 현대적 적응형 확률적 경사 하강 방법에 널리 적용 가능함을 시사한다.
• 특히 큰 모델에서는 전체 훈련 비용에 비해 정렬 및 순위 매기기로 인한 오버헤드가 무시할 만큼 낮다.
• 손실 순위가 시간에 따라 부분적으로만 안정적인 경우에도 방법이 효과를 유지하므로 손실 추정의 노이즈에 대해 강건함을 보인다.
• CIFAR-10에 대한 초도 결과는 무작위 선택보다는 유리한 성능를 보였지만, 셔플링보다는 아직 열등하여 데이터셋에 따라 행동이 달라질 가능성이 있음을 시사한다.