[논문 리뷰] Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges

Bernd Bischl, Martin Binder외 10명|arXiv (Cornell University)|2021. 07. 13.

Machine Learning and Data Classification인용 수 49

한 줄 요약

하이퍼파라미터 최적화(HPO)에 대한 포괄적 고찰로, 기본 개념, 주요 알고리즘(grid/random search, evolution strategies, Bayesian optimization), 실용 가이드라인, 그리고 열려 있는 도전과제를 요약한다.

ABSTRACT

Most machine learning algorithms are configured by one or several hyperparameters that must be carefully chosen and often considerably impact performance. To avoid a time consuming and unreproducible manual trial-and-error process to find well-performing hyperparameter configurations, various automatic hyperparameter optimization (HPO) methods, e.g., based on resampling error estimation for supervised machine learning, can be employed. After introducing HPO from a general perspective, this paper reviews important HPO methods such as grid or random search, evolutionary algorithms, Bayesian optimization, Hyperband and racing. It gives practical recommendations regarding important choices to be made when conducting HPO, including the HPO algorithms themselves, performance evaluation, how to combine HPO with ML pipelines, runtime improvements, and parallelization. This work is accompanied by an appendix that contains information on specific software packages in R and Python, as well as information and recommended hyperparameter search spaces for specific learning algorithms. We also provide notebooks that demonstrate concepts from this work as supplementary files.

연구 동기 및 목표

• 자동화된 HPO의 필요성을 제시하여 수작업으로 인한 시간 소모를 줄여야 함을 강조합니다.
• 감독 학습에서의 HPO에 대한 형식적이고 일반적인 프레임워크를 제시합니다.
• 주요 HPO 방법과 그 강점/제한점을 카탈로그합니다.
• HPO에서 평가, 탐색 공간, 병렬화에 관한 실용적인 권고안을 제공합니다.
• HPO의 미해결 이슈 및 향후 방향에 대해 논의합니다.

제안 방법

• HPO 문제를 λ를 재샘플링된 일반화 추정치로 최적화하는 확률적, 블랙박스 목적함수 c(λ)로 정의합니다.
• 탐색 공간 Λ와 계층적/조건부 하이퍼파라미터를 특징짓습니다.
• 잘 확립된 HPO 알고리즘(grid/random search, evolution strategies, Bayesian optimization)을 검토합니다.
• 리샘플링 전략(홀드아웃, 교차검증)과 일반화 추정에 미치는 영향을 설명합니다.
• HPO가 ML 파이프라인 및 전처리 단계와 어떻게 통합되는지 설명합니다.
• 리샘플링 방법 선택, 탐색 공간 정의, HPO의 병렬화에 대한 실용적 가이드를 제공합니다.

실험 결과

연구 질문

• RQ1 감독 학습에서의 하이퍼파라미터 최적화의 핵심 이론적 및 실용적 기초는 무엇인가?
• RQ2 주요 HPO 알고리즘은 탐색과 활용, 잡음 처리, 확장성 측면에서 어떻게 비교되는가?
• RQ3 실제 ML 워크플로우에서 HPO의 효과성과 재현성을 높이는 실용적 가이드라인은 무엇인가?
• RQ4 강 robust한 최적화를 위해 계층적 및 조건부 하이퍼파라미터를 포함한 탐색 공간은 어떻게 구성되어야 하는가?
• RQ5 향후 연구를 이끄는 HPO의 남은 도전과제는 무엇인가?

주요 결과

• HPO는 경계가 있는 계층적 탐색 공간을 가질 수 있는 블랙박스, 확률적 최적화 문제로 정의될 수 있다.
• 일반화 오차의 재샘플링 기반 추정은 HPC를 평가하게 하지만, 중첩 CV로 편향을 완화할 수 있다.
• 그리드 탐색과 랜덤 탐색은 단순한 기준선이며, 차원이 높아지면 종종 랜덤 탐색이 그리드 탐색보다 우수하다.
• 특히 서배리어 모델과 취득 함수가 포함된 Bayesian optimization은 비용이 큰 평가에서 탐험과 활용의 균형을 효율적으로 달성한다.
• Evolution strategies는 잡음에 대한 강인성과 복잡한 탐색 공간에 적합하지만, HPO의 경우 많은 평가가 필요할 수 있다.