[论文解读] Hyperparameter Search in Machine Learning

Marc Claesen, Bart De Moor|arXiv (Cornell University)|Feb 7, 2015

Machine Learning and Data Classification参考文献 31被引用 340

一句话总结

本文从全面优化的角度审视机器学习中的超参数搜索，将其视为一种成本高昂、随机且复杂的黑箱优化问题。文章回顾了诸如评估成本高、模型训练中的随机性以及高维混合类型搜索空间等挑战，并倡导采用贝叶斯优化和自动化搜索策略，以最少的试验次数高效地找到最优超参数。

ABSTRACT

We introduce the hyperparameter search problem in the field of machine learning and discuss its main challenges from an optimization perspective. Machine learning methods attempt to build models that capture some element of interest based on given data. Most common learning algorithms feature a set of hyperparameters that must be determined before training commences. The choice of hyperparameters can significantly affect the resulting model's performance, but determining good values can be complex; hence a disciplined, theoretically sound search strategy is essential.

研究动机与目标

• 将超参数搜索形式化为在混合类型、有约束的域上的非可微、单目标优化问题。
• 识别并分析超参数搜索中的关键挑战，包括昂贵的目标函数评估、固有的随机性以及复杂的搜索空间结构。
• 从可重现性和可扩展性的角度，评估手动调优和基于网格的超参数调优方法的局限性。
• 将自动化超参数搜索定位为实现自配置机器学习系统的关键步骤。
• 综述最先进的超参数调优优化算法和软件工具，重点强调贝叶斯方法和元启发式算法。

提出的方法

• 将超参数搜索形式化为在测试数据上最小化损失函数的问题，其中模型由由超参数 λ 参数化的学习算法生成。
• 将目标函数 F(λ) 建模为使用超参数 λ 训练的模型在测试集 X^(te) 上的测试损失，训练集为 X^(tr)。
• 识别关键挑战：每次评估的计算成本高，算法随机性和有限采样带来的随机性，以及复杂且条件相关的搜索空间。
• 回顾优化技术，包括使用期望改进的贝叶斯优化、粒子群优化、遗传算法和竞赛算法。
• 强调高效搜索策略的重要性，以最小化昂贵的模型训练与评估循环次数。
• 讨论平滑性和利普希茨连续性假设在存在随机噪声的情况下验证经验最优解的必要性。

实验结果

研究问题

• RQ1 如何系统地将超参数搜索框架化为机器学习中的黑箱优化问题？
• RQ2 哪些主要的计算和统计挑战阻碍了有效的超参数搜索，例如昂贵的评估和随机性？
• RQ3 为何传统方法如网格搜索和人工调优在现代高维超参数空间中不足以为据？
• RQ4 混合类型（连续与整数）和条件超参数空间如何使搜索过程复杂化？
• RQ5 在效率和性能方面，自动化优化方法，尤其是贝叶斯优化，能在多大程度上优于人工或基于网格的方法？

主要发现

• 超参数搜索是在混合类型、有约束的域上进行的非可微、单目标优化问题，具有显著的实际挑战。
• 每次目标函数评估的计算成本都很高，通常需要数分钟到数天，具体取决于模型和数据规模。
• 由于随机初始化或重采样导致的模型训练中的随机性，可能产生不可靠的经验最优解，因此需要在有希望的区域周围进行密集采样。
• 尽管复杂度高，但只有少数超参数对模型性能有显著影响，尽管事先识别这些参数十分困难。
• 由于其能有效减少所需评估次数，贝叶斯优化及相关序列模型优化方法已成为主流方法。
• 自动化超参数搜索已在多个基准问题上被证明优于专家人工调优，验证了其在可扩展、自配置机器学习中的潜力。