[논문 리뷰] Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020

Ryan Turner, David Eriksson외 5명|arXiv (Cornell University)|2021. 04. 20.

Machine Learning and Data Classification참고 문헌 56인용 수 163

한 줄 요약

이 논문은 대리모델과 앙상블을 갖춘 베이지안 최적화가 NeurIPS 2020 블랙박스 최적화 대회에서 ML 하이퍼파라미터 튜닝 과제에 대해 무작위 탐색보다 유의하게 우수했고, 보지 못한 문제에서도 강한 이득이 지속되었다고 보고한다.

ABSTRACT

This paper presents the results and insights from the black-box optimization (BBO) challenge at NeurIPS 2020 which ran from July-October, 2020. The challenge emphasized the importance of evaluating derivative-free optimizers for tuning the hyperparameters of machine learning models. This was the first black-box optimization challenge with a machine learning emphasis. It was based on tuning (validation set) performance of standard machine learning models on real datasets. This competition has widespread impact as black-box optimization (e.g., Bayesian optimization) is relevant for hyperparameter tuning in almost every machine learning project as well as many applications outside of machine learning. The final leaderboard was determined using the optimization performance on held-out (hidden) objective functions, where the optimizers ran without human intervention. Baselines were set using the default settings of several open-source black-box optimization packages as well as random search.

연구 동기 및 목표

• 실제 데이터셋에서 ML 모델 하이퍼파라미터를 조정하기 위해 파생되지 않는(블랙박스) 옵티마이저를 동기 부여하고 평가한다.
• 옵티마이저를 비교하기 위한 숨겨진(보류된) 목적을 포함한 공정한 벤치마크 프로토콜을 제공한다.
• 기초 방법과 대리모델 및 앙상블 전략의 이점을 평가한다.
• 해결책 선택, 오픈소스 도구, 그리고 ML 하이퍼파라미터 최적화의 도전에 대한 실질적인 인사이트를 제시한다.

제안 방법

• 블랙박스 최적화를 평가가 비싼 구간에서 유한한 도메인 내의 최소 f(x)로 프레이밍한다.
• 다양한 문제에 걸친 옵티마이저 성능을 정규화하고 점수를 매기기 위해 Bayesmark를 사용한다.
• 무작위 탐색을 포함한 기본 베이스라인과 오픈소스 BO 도구를 갖춘 스타터 키트를 제공한다.
• 벽시계 제약을 반영하기 위해 문제당 16회 반복, 배치 8 평가 예산으로 실행한다.
• 병렬로 여러 점을 제안할 수 있는 오픈 루프 제안-관찰 옵티마이저를 권장한다.
• 순위의 신뢰성을 평가하기 위해 부트스트랩과 무작위 문제 분할로 결과를 분석한다.

실험 결과

연구 질문

• RQ1 실제적이고 다양한 문제에서 ML 하이퍼파라미터 튜닝에 대해 베이지안 최적화가 무작위 탐색보다 일관되게 우수한가?
• RQ2 실용 예산 하에서 기본 BO 패키지는 무작위 탐색과 서로 비교해 어떤가?
• RQ3 다양한 ML 튜닝 작업에서 BO 방법 간 앙상블 전략이 성능을 향상시키는가?
• RQ4 경쟁력 있는 결과 달성에 있어 오픈소스 도구와 워밍 스타트/메타러닝의 역할은 무엇인가?
• RQ5 샘플링 변동성과 문제 이질성에 결과가 얼마나 강건한가?

주요 결과

• 상위 20명 중 대부분은 대리모델 지원 최적화를 사용했고 무작위 탐색보다 상당한 이득을 얻었다.
• 최종 리더보드에서 65개 팀 중 61개 팀이 무작위 탐색 기준선을 이겼고, 상위 5위 순위는 부트스트랩 분석에서 통계적으로 강건했다.
• 앙상블(여러 대리모델, 취득 함수, 또는 심지어 옵티마이저 계열을 결합)은 개별 방법에 비해 주목할 만한 개선을 보였다.
• 트러스트-레전(TuRBO)과 확률적-RBF(pySOT) 접근법은 가장 강력한 베이스라인 중 하나였고, 이를 다른 방법들과 혼합한 앙상블이 종종 최상의 성능을 보였다.
• 오픈소스 도구와 워밍 스타트/메타러닝 전략의 활용이 실용적인 성능 향상에 기여했다; 여러 상위 팀은 기존의 BO 구성요소를 통합했다.