[论文解读] BOAH: A Tool Suite for Multi-Fidelity Bayesian Optimization & Analysis of Hyperparameters.

Marius Lindauer, Katharina Eggensperger+5 more|arXiv (Cornell University)|Aug 16, 2019

Machine Learning and Data Classification参考文献 9被引用 25

一句话总结

BOAH 是一个全面的 Python 工具套件，将多保真度贝叶斯优化与自动化分析相结合，用于超参数调优。它结合了 ConfigSpace 用于定义设计空间，BOHB 用于利用 HyperBand 和贝叶斯优化实现高效优化，以及 CAVE 用于对超参数重要性及不同预算下的性能进行深入的后期分析，从而在无需额外评估的情况下，实现更快、更具可解释性的 AutoML 工作流。

ABSTRACT

Hyperparameter optimization and neural architecture search can become prohibitively expensive for regular black-box Bayesian optimization because the training and evaluation of a single model can easily take several hours. To overcome this, we introduce a comprehensive tool suite for effective multi-fidelity Bayesian optimization and the analysis of its runs. The suite, written in Python, provides a simple way to specify complex design spaces, a robust and efficient combination of Bayesian optimization and HyperBand, and a comprehensive analysis of the optimization process and its outcomes.

研究动机与目标

• 为解决机器学习中，尤其是需要每轮评估耗时数小时或数天的深度学习模型，超参数优化带来的高计算成本问题。
• 提供一个统一、用户友好的工具套件，支持复杂的设计空间、高效优化以及结果的自动化分析。
• 使研究人员和实践者能够在无需额外函数评估的情况下，理解超参数重要性与优化动态的可解释性。
• 将最先进的组件（如 BOHB 和 CAVE）整合到一个连贯的工作流中，用于多保真度超参数优化。

提出的方法

• ConfigSpace 支持灵活地定义设计空间，支持分类、连续、整数和序数超参数，包括条件约束和对数尺度采样。
• BOHB 将贝叶斯优化与 HyperBand 结合，通过使用多个评估预算（如训练轮数或交叉验证折数）高效搜索超参数空间。
• BOHB 中的 fmin 接口提供简单、类似 scipy 的 API，便于在标准优化流水线中集成和使用。
• CAVE 对 BOHB 的结果执行全面的后期分析，包括 fANOVA 和局部参数重要性（LPI），用于分析超参数影响、不同预算间的等级相关性，以及优化器足迹图。
• CAVE 通过在每个预算上估计不确定性，将分析扩展到多保真度数据，并通过多维缩放技术可视化高维设计空间中具有前景的区域。
• 该工具套件具有模块化和可扩展性，各组件设计为无缝协作，并支持与其他 AutoML 工具的集成。

实验结果

研究问题

• RQ1 如何有效结合多保真度贝叶斯优化与自动化分析，以提升机器学习中的超参数调优？
• RQ2 在强化学习中，哪些超参数在不同评估预算下对性能影响最大？
• RQ3 在低预算下表现良好的配置，在高预算下是否也表现良好？这种相关性在多大程度上可被定量评估？
• RQ4 如何通过可视化和定量分析解释 BOHB 的优化过程，以识别复杂设计空间中的有前景区域？
• RQ5 自动化分析工具（如 CAVE）是否能在不进行额外函数评估的情况下，提供关于超参数重要性的可操作洞察？

主要发现

• BOHB 显著提升了在 CartPole 环境中对近端策略优化（PPO）的样本效率，相比默认超参数，减少了完成任务所需的训练轮数。
• fANOVA 分析显示，在最大预算下，折扣因子和批量大小是影响性能最重要的超参数。
• 局部参数重要性（LPI）分析进一步表明，学习率是关键超参数，尤其在优化初期阶段。
• 等级相关性分析证实了不同预算下性能排名的高度一致性，验证了多保真度优化的适用性。
• CAVE 的优化器足迹图成功识别出高维设计空间中的有前景区域，有助于理解 BOHB 的搜索行为。
• BOAH 组件的集成使得无需额外函数评估即可完成优化运行的完整分析，证明了该工具套件在效率和可解释性方面的优势。