[논문 리뷰] Hyperparameter Optimization in Machine Learning

Luca Franceschi, Michele Donini외 6명|arXiv (Cornell University)|2024. 10. 30.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 하이퍼파라미터 최적화(HPO) 방법의 통합적 조사를 제공하며, HPO가 왜 필수인지, 중첩 평가 문제, 그리고 무작위 탐색, 베이지안 최적화, 밴딧 기반, 모델 기반, 기울기 기반, 다충실도 접근법과 같은 주요 알고리즘 가족을 개괄한다.

ABSTRACT

Hyperparameters are configuration variables controlling the behavior of machine learning algorithms. They are ubiquitous in machine learning and artificial intelligence and the choice of their values determines the effectiveness of systems based on these technologies. Manual hyperparameter search is often time-consuming and becomes infeasible when the number of hyperparameters is large. Automating the search is an important step towards advancing, streamlining, and systematizing machine learning, freeing researchers and practitioners alike from the burden of finding a good set of hyperparameters by trial and error. In this survey, we present a unified treatment of hyperparameter optimization, providing the reader with examples, insights into the state-of-the-art, and numerous links to further reading. We cover the main families of techniques to automate hyperparameter search, often referred to as hyperparameter optimization or tuning, including random and quasi-random search, bandit-, model-, population-, and gradient-based approaches. We further discuss extensions, including online, constrained, and multi-objective formulations, touch upon connections with other fields, such as meta-learning and neural architecture search, and conclude with open questions and future research directions.

연구 동기 및 목표

• ML 시스템에서 하이퍼파라미터 최적화의 동기와 중요성을 설명한다.
• HPO 문제를 중첩 최적화 과제로 형식화하고 그 도전 과제를 논의한다.
• 주요 HPO 방법의 계(군)를 조사하고 그 트레이드오프를 논의한다.
• HPO 알고리즘의 실용적 요구사항과 연구 방향을 강조한다.

제안 방법

• HPO 문제를 λ를 이용해 A(D, λ)를 학습시켜 얻은 응답 함수 f(λ)를 최소화하는 것으로 정의한다.
• 훈련 필요성으로 인한 하이퍼파라미터 평가의 중첩/계층 구조를 설명한다.
• 주요 HPO 접근법을 분류하고 요약한다: 랜덤/격자/준무작위 탐색, 모델 기반 방법(예: 베이지안 최적화), 레이싱/얼리 스톱핑, 기울기 기반 하이퍼파라미터 최적화, 집단 기반 방법.
• 온라인, 제약, 다목적 확장 및 메타학습 및 신경망 아키텍처 검색과의 연계에 대해 논의한다.
• HPO 알고리즘의 실용적 요구사항을 제시하고 예산 인지적, 자원 효율적이며 재현 가능한 실험을 강조한다.

실험 결과

연구 질문

• RQ1 효과적인 하이퍼파라미터 최적화 문제 설정은 무엇이며 왜 도전적인가?
• RQ2 HPO의 주요 알고리즘 계는 무엇이며 효율성 및 적용성 측면에서 어떻게 비교되는가?
• RQ3 재현성과 공정한 비교를 보장하기 위해 HPO를 어떻게 평가하고 보고해야 하는가?
• RQ4 HPO의 실용적 확장 및 향후 방향은 무엇인가(온라인, 다객관적, 제약, NAS)?

주요 결과

• 하이퍼파라미터는 모델 성능과 일반화에 결정적으로 영향을 미치며, 튜닝이 최첨단 결과를 결정할 수 있다.
• HPO는 중첩적이면서 비용이 많이 들 수 있고 불규칙한 탐색 문제로, 종종 기울기 기반 방법에 의존할 수 없다.
• 랜덤, 격자, 준무작위 탐색은 간단한 베이스라인을 제공하고, 베이지안 최적화와 같은 모델 기반 방법은 샘플 효율성을 제공한다.
• 자원 의식 전략(예: 얼리 스톱핑, 다충실도 평가)은 대규모 설정에서 실용성을 높인다.
• 다양한 확장(온라인, 제약, 다목적)은 HPO의 실제 배포 및 메타학습 맥락에 적용성을 넓힌다.