[논문 리뷰] BOHB: Robust and Efficient Hyperparameter Optimization at Scale

Stefan Falkner, Aaron Klein외 1명|arXiv (Cornell University)|2018. 07. 04.

Advanced Neural Network Applications참고 문헌 3인용 수 180

한 줄 요약

BOHB는 Bayesian 최적화와 Hyperband를 결합하여 빠르고 강건한 하이퍼파라미터 최적화를 달성하며, 고차원 및 병렬 자원에서도 확장 가능하고 다양한 작업에서 BO와 Hyperband를 능가합니다.

ABSTRACT

Modern deep learning methods are very sensitive to many hyperparameters, and, due to the long training times of state-of-the-art models, vanilla Bayesian hyperparameter optimization is typically computationally infeasible. On the other hand, bandit-based configuration evaluation approaches based on random search lack guidance and do not converge to the best configurations as quickly. Here, we propose to combine the benefits of both Bayesian optimization and bandit-based methods, in order to achieve the best of both worlds: strong anytime performance and fast convergence to optimal configurations. We propose a new practical state-of-the-art hyperparameter optimization method, which consistently outperforms both Bayesian optimization and Hyperband on a wide range of problem types, including high-dimensional toy functions, support vector machines, feed-forward neural networks, Bayesian neural networks, deep reinforcement learning, and convolutional neural networks. Our method is robust and versatile, while at the same time being conceptually simple and easy to implement.

연구 동기 및 목표

• 빠른 초기 결과와 강력한 최종 성능의 균형을 맞춘 실용적인 하이퍼파라미터 최적화(HPO) 동기를 부여합니다.
• 고차원, 혼합 이산-연속 구성 공간으로의 확장성 달성.
• 문제 도메인 전반에서 강건함을 유지하면서 병렬 자원을 효과적으로 활용합니다.
• 다양한 ML 작업에 적합한 간단하고 효율적이며 유연한 HPO 방법 제공.

제안 방법

• 구성 검색을 안내하기 위해 Tree Parzen Estimators(TPE)에 기초한 Bayesian 최적화 구성 요소와 함께 Hyperband(HB) 통합.
• HB의 무작위 구성 샘플링을 단일 다차원 KDE를 사용한 모델 기반 샘플링으로 대체.
• 다양한 충족도에서 구성을 평가하기 위해 예산을 사용하고, BO 샘플링 구성을 모아 단계적 Halving을 적용.
• 예산 간 결과를 유지하여 점진적으로 더 나은 모델을 구축하고 최종 결정에 가장 큰 예산 우선.
• 탐색을 유지하기 위해 무작위 구성을 일정 부분 포함하여 이론적 HB 보장을 보존.
• SH 실행 간 관찰 공유 및 SH 런 간 인터리빙(interleaving)을 통해 많은 워커를 효율적으로 활용합니다.

실험 결과

연구 질문

• RQ1 베이지안 최적화와 Hyperband를 결합하면 강력한 언제성 성능과 강력한 최종 성능을 모두 달성할 수 있을까?
• RQ2 BO를 고차원 공간에서의 다중 예산 평가 및 상호작용 효과와 함께 작동하도록 어떻게 조정할 수 있을까?
• RQ3 BOHB가 고차원 혼합 범주/연속 하이퍼파라미터 공간에 확장되고 병렬 컴퓨팅을 효과적으로 활용할 수 있을까?
• RQ4 다양한 ML 작업(SVM, 신경망, 베이지안 신경망, RL, CNN)에서 BOHB의 성능은 기준선과 비교해 어떤가?
• RQ5 문제별로 BOHB의 실용적 하이퍼파라미터 설정과 강인성 특성은 어떤가?

주요 결과

• BOHB는 다양한 문제 유형에 걸쳐 일관되게 베이지안 최적화와 Hyperband를 모두 능가합니다.
• BOHB는 빠른 초기 진행과 거의 글로벌 최적해에 대한 신속한 수렴을 달성하여 최종 성능에서 Hyperband를, 초기 진행에서 Bayesian 최적화를 능가합니다.
• BOHB는 고차원 공간과 이질적인 하이퍼파라미터 유형(이진, 범주형, 정수, 연속)에 확장됩니다.
• BOHB는 기준선과 비교했을 때 신경망, 베이지안 신경망, 강화학습 및 합성곱 신경망 등에서 강력한 성능 향상을 보여줍니다.
• BOHB는 SH 실행 간 관찰 데이터를 공유하고 거의 선형 속도 향상에 기반한 병렬화를 가능하게 하여 실용적인 워커 수까지 효과적인 병렬화를 가능하게 합니다.