[论文解读] An Empirical Study of Assumptions in Bayesian Optimisation

Alexander I. Cowen-Rivers, Wenlong Lyu+8 more|arXiv (Cornell University)|Dec 7, 2020

Gaussian Processes and Bayesian Inference参考文献 84被引用 21

一句话总结

本文通过实证研究检验了机器学习超参数调优中贝叶斯优化的核心假设。研究发现，现实任务通常表现出异方差性和非平稳性，并表明基于帕累托前沿解的多目标获取函数集成与鲁棒的获取函数最大化方法，相较于标准方法能显著提升优化性能。

ABSTRACT

Inspired by the increasing desire to efficiently tune machine learning hyper-parameters, in this work we rigorously analyse conventional and non-conventional assumptions inherent to Bayesian optimisation. Across an extensive set of experiments we conclude that: 1) the majority of hyper-parameter tuning tasks exhibit heteroscedasticity and non-stationarity, 2) multi-objective acquisition ensembles with Pareto-front solutions significantly improve queried configurations, and 3) robust acquisition maximisation affords empirical advantages relative to its non-robust counterparts. We hope these findings may serve as guiding principles, both for practitioners and for further research in the field.

研究动机与目标

• 检验贝叶斯优化中常规假设（尤其是平稳性和同方差性）在现实超参数调优任务中的有效性。
• 评估利用帕累托前沿解的多目标获取函数在提升配置质量方面的有效性。
• 评估鲁棒获取函数最大化（考虑获取函数优化中的不确定性）是否能带来可测量的性能提升。
• 为实践者和未来贝叶斯优化研究提供可操作的见解和指导原则。

提出的方法

• 在多样化的超参数调优任务中开展广泛的实证实验，以评估模型假设。
• 评估同时优化多个标准的多目标获取函数集成，利用帕累托前沿解来平衡权衡。
• 通过在获取函数优化中引入不确定性，实现鲁棒的获取函数最大化，降低对噪声评估的敏感性。
• 在相同实验条件下比较鲁棒与非鲁棒获取函数最大化策略，以隔离其性能差异。
• 分析基准任务中目标函数的统计特性，包括异方差性和非平稳性。
• 以标准贝叶斯优化框架（如高斯过程）为基础模型，对获取函数设计和优化方法进行修改。

实验结果

研究问题

• RQ1 现实中的超参数调优任务在多大程度上违反了贝叶斯优化中的平稳性和同方差性假设？
• RQ2 基于帕累托前沿解的多目标获取函数集成与单目标获取函数相比，在配置质量方面表现如何？
• RQ3 考虑获取函数优化中不确定性的鲁棒获取函数最大化，是否相较于非鲁棒方法带来可测量的性能提升？
• RQ4 标准贝叶斯优化中哪些假设在实践中最常被违反，这些违反如何影响优化结果？

主要发现

• 大多数超参数调优任务表现出显著的异方差性和非平稳性，挑战了标准假设中目标函数平稳且同方差的设定。
• 整合帕累托前沿解的多目标获取函数集成，相较于单目标方法，能显著提升所查询配置的质量。
• 鲁棒获取函数最大化始终优于非鲁棒方法，在收敛性和解质量方面展现出实证优势。
• 研究结果表明，传统贝叶斯优化假设在实践中频繁被违反，提示需要更灵活和鲁棒的优化策略。