[论文解读] HEBO: Heteroscedastic Evolutionary Bayesian Optimisation.

Alexander I. Cowen-Rivers, Wenlong Lyu+5 more|arXiv (Cornell University)|Dec 7, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 24被引用 19

一句话总结

HEBO 提出了一种异方差进化贝叶斯优化框架，通过多目标获取集合和鲁棒的获取最大化，对非平稳、异方差的目标函数进行建模，解决了超参数调优问题。该方法在配置查询质量和实际性能方面均优于非鲁棒和传统方法。

ABSTRACT

Inspired by the increasing desire to efficiently tune machine learning hyper-parameters, in this work we rigorously analyse conventional and non-conventional assumptions inherent to Bayesian optimisation. Across an extensive set of experiments we conclude that: 1) the majority of hyper-parameter tuning tasks exhibit heteroscedasticity and non-stationarity, 2) multi-objective acquisition ensembles with Pareto-front solutions significantly improve queried configurations, and 3) robust acquisition maximisation affords empirical advantages relative to its non-robust counterparts. We hope these findings may serve as guiding principles, both for practitioners and for further research in the field.

研究动机与目标

• 调查超参数调优中传统贝叶斯优化所基于的假设。
• 解决现实世界超参数优化任务中普遍存在的异方差性和非平稳性问题。
• 通过基于帕累托前沿的多目标获取集合，提升配置查询质量。
• 通过获取最大化的鲁棒性提升，改善实际性能。
• 为实践者和未来贝叶斯优化研究提供指导原则。

提出的方法

• 通过学习随输入空间变化的不确定性估计，对目标函数中的异方差性进行建模。
• 采用进化策略探索搜索空间，并指导获取函数的优化。
• 使用多目标获取集合，结合多个获取函数以促进多样性并收敛至帕累托前沿。
• 实施鲁棒的获取最大化，以处理噪声或不确定的评估，提升稳定性和性能。
• 将进化搜索与贝叶斯优化相结合，实现灵活且自适应的探索。
• 在广泛的超参数调优任务上评估该方法，以验证其有效性。

实验结果

研究问题

• RQ1 现实世界中的超参数调优任务在多大程度上表现出异方差性和非平稳性？
• RQ2 使用基于帕累托前沿解的多目标获取集合，对查询到的配置质量有何影响？
• RQ3 与非鲁棒变体相比，鲁棒获取最大化的实际影响是什么？
• RQ4 在非平稳环境下，异方差建模能否提升贝叶斯优化的性能？
• RQ5 从分析贝叶斯优化中的传统与非传统假设中，可以得出哪些设计原则？

主要发现

• 大多数超参数调优任务表现出显著的异方差性和非平稳性，对标准贝叶斯优化假设构成挑战。
• 基于帕累托前沿解的多目标获取集合显著提升了所查询配置的质量。
• 鲁棒获取最大化在实际性能方面始终优于非鲁棒变体。
• 所提出的 HEBO 框架在配置搜索效率和收敛性方面优于基线方法。
• 这些发现表明，未来贝叶斯优化系统应优先考虑异方差性和鲁棒性建模。
• 本研究为实践者和未来超参数优化研究提供了可操作的洞察和指导原则。