[논문 리뷰] A Resizable Mini-batch Gradient Descent based on a Randomized Weighted Majority

Seong Jin Cho, Sunghun Kang외 1명|arXiv (Cornell University)|2017. 01. 01.

Machine Learning and ELM인용 수 2

한 줄 요약

이 논문은 과거 성능과 검증 오차에 기반한 확률 분포를 활용해 각 에포크에서 배치 크기를 동적으로 선택하는 가변 크기 미니배치 경사하강법(RMGD) 알고리즘을 제안한다. 새로운 배치 크기 탐색과 성공한 크기의 이용 간 균형을 통해 RMGD는 고정된 배치 크기 기준선과 격자 탐색보다 정확도와 학습 속도 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Determining the appropriate batch size for mini-batch gradient descent is always time consuming as it often relies on grid search. This paper considers a resizable mini-batch gradient descent (RMGD) algorithm-inspired by the randomized weighted majority algorithm-for achieving best performance in grid search by selecting an appropriate batch size at each epoch with a probability defined as a function of its previous success/failure and the validation error. This probability encourages exploration of different batch size and then later exploitation of batch size with history of success. At each epoch, the RMGD samples a batch size from its probability distribution, then uses the selected batch size for mini-batch gradient descent. After obtaining the validation error at each epoch, the probability distribution is updated to incorporate the effectiveness of the sampled batch size. The RMGD essentially assists the learning process to explore the possible domain of the batch size and exploit successful batch size. Experimental results show that the RMGD achieves performance better than the best performing single batch size. Furthermore, it attains this performance in a shorter amount of time than that of the best performing. It is surprising that the RMGD achieves better performance than grid search.

연구 동기 및 목표

• 기존에 격자 탐색에 의존하는 방식으로 인해 시간이 오래 소요되는 미니배치 경사하강법의 배치 크기 선택 문제를 해결하기 위해.
• 학습 중에 적응적인 배치 크기 선택을 가능하게 함으로써 체계적인 초파rameter 튜닝의 필요성을 줄이기 위해.
• 지능적인 배치 크기 구성 탐색과 이용을 통해 모델 일반화 성능 향상과 수렴 속도 향상을 위해.
• 격자 탐색을 통해 확보한 최고의 단일 배치 크기보다 뛰어난 성능을 달성하는 방법을 개발하기 위해.

제안 방법

• RMGD 알고리즘은 각 배치 크기가 검증 오차 감소에 이르는 이력 성공률에 기반해 가능한 배치 크기 위에 확률 분포를 유지한다.
• 각 에포크마다 이 분포에서 무작위 가중 다수결 메커니즘을 사용해 배치 크기를 샘플링한다.
• 각 에포크 후 모델의 성능을 검증 세트에서 평가하여 샘플링된 배치 크기의 효과를 평가한다.
• 성공/실패 피드백과 검증 오차의 크기를 포함한 확률 분포를 갱신하기 위해 가중 다수결 규칙을 사용한다.
• 적응적인 확률 재가중을 통해 새로운 배치 크기 탐색(탐색)과 이전에 성공한 크기의 선호(이용) 간 균형을 이룹니다.
• 핵심 메커니즘은 성공/실패 피드백과 검증 오차의 크기를 모두 반영한 확률 갱신 규칙을 사용한다.

실험 결과

연구 질문

• RQ1 동적 배치 크기 선택 전략이 고정된 배치 크기 설정보다 모델 정확도와 학습 효율성 면에서 뛰어나게 되는가?
• RQ2 적응적인 배치 크기 메커니즘이 초파rameter 튜닝에서 격자 탐색의 필요성을 어느 정도 줄일 수 있는가?
• RQ3 배치 크기 선택에서 탐색과 이용의 균형을 이루는 것이 더 빠른 수렴과 더 나은 일반화를 이끌어내는가?
• RQ4 무작위 가중 다수결 접근 방식이 학습 중에 배치 크기 적응을 효과적으로 이끌 수 있는가?

주요 결과

• RMGD는 격자 탐색을 통해 확보한 최고의 단일 배치 크기보다 더 뛰어난 일반화 성능을 달성한다.
• RMGD 방법은 가장 성능이 좋았던 고정 배치 크기보다도 더 짧은 학습 시간 내에 뛰어난 모델 성능을 달성한다.
• 알고리즘은 학습 초반에 다양한 배치 크기를 효과적으로 탐색하고 점차적으로 가장 성공적인 구성으로 점진적으로 이용한다.
• 동적 적응 메커니즘이 정적 배치 크기 전략보다 더 빠른 수렴과 향상된 검증 오차를 이끌어낸다.