[论文解读] Hyperparameter Optimization in Machine Learning

Luca Franceschi, Michele Donini+6 more|arXiv (Cornell University)|Oct 30, 2024

Machine Learning and Data Classification被引用 5

一句话总结

本文提供了超参数优化（HPO）方法的统一综述，概述了为什么 HPO 重要、嵌套评估挑战，以及主要的算法家族，如随机搜索、贝叶斯优化、Bandit 基于的方法、基于模型的、基于梯度的，以及多保真度方法。

ABSTRACT

Hyperparameters are configuration variables controlling the behavior of machine learning algorithms. They are ubiquitous in machine learning and artificial intelligence and the choice of their values determines the effectiveness of systems based on these technologies. Manual hyperparameter search is often time-consuming and becomes infeasible when the number of hyperparameters is large. Automating the search is an important step towards advancing, streamlining, and systematizing machine learning, freeing researchers and practitioners alike from the burden of finding a good set of hyperparameters by trial and error. In this survey, we present a unified treatment of hyperparameter optimization, providing the reader with examples, insights into the state-of-the-art, and numerous links to further reading. We cover the main families of techniques to automate hyperparameter search, often referred to as hyperparameter optimization or tuning, including random and quasi-random search, bandit-, model-, population-, and gradient-based approaches. We further discuss extensions, including online, constrained, and multi-objective formulations, touch upon connections with other fields, such as meta-learning and neural architecture search, and conclude with open questions and future research directions.

研究动机与目标

• 解释超参数优化对 ML 系统的动机与重要性。
• 将 HPO 问题形式化为嵌套优化任务并讨论其挑战。
• 综述主要的 HPO 方法家族及其权衡。
• 强调 HPO 算法的实际需求及研究方向。

提出的方法

• 将 HPO 问题定义为最小化通过训练 A(D, λ) 获得的响应函数 f(λ)。
• 描述由于训练需求而导致的评估超参数的嵌套/双层结构。
• 对主要 HPO 方法进行分类与概述：随机/网格/准随机搜索、基于模型的方法（如贝叶斯优化）、竞赛/提前停止、梯度基超参数优化，以及基于群体的方法。
• 讨论扩展：在线、带约束、多目标，以及与元学习和神经网络架构搜索的联系。
• 提出 HPO 算法的实际需求，强调预算感知、资源高效和可重复的实验。

实验结果

研究问题

• RQ1 一个有效的超参数优化问题设置是什么，以及为何具有挑战性？
• RQ2 HPO 的主要算法家族有哪些，它们在效率和适用性方面的比较如何？
• RQ3 应如何评估并报告 HPO 以确保可重复性和公平比较？
• RQ4 HPO 的实际扩展与未来方向是什么（在线、多目标、带约束、NAS）？

主要发现

• 超参数对模型性能和泛化能力有关键影响，调优甚至能决定最先进的结果。
• HPO 是一个嵌套、潜在昂贵且不规则的搜索问题，通常不能依赖梯度法。
• 随机、网格和准随机搜索提供简单的基线，而像贝叶斯优化这样的基于模型的方法提供样本效率。
• 资源感知策略（例如提前停止、多保真评估）在大规模场景中提高实用性。
• 多样的扩展（在线、带约束、多目标）拓宽了 HPO 在实际部署和元学习场景中的适用性。