[论文解读] Constrained Bayesian Optimization with Max-Value Entropy Search

Valerio Perrone, Iaroslav Shcherbatyi+3 more|arXiv (Cornell University)|Oct 15, 2019

Gaussian Processes and Bayesian Inference参考文献 26被引用 16

一句话总结

本文提出cMES，一种约束贝叶斯优化方法，将最大值熵搜索（Max-Value Entropy Search）扩展以处理连续和二值约束，通过联合后验采样约束最优解。在真实世界超参数优化中，其性能优于先前的约束期望改进（cEI）和自适应百分位数基线方法；同时发现，后验采样中使用平均场近似会因错误的独立性假设而导致性能下降。

ABSTRACT

Bayesian optimization (BO) is a model-based approach to sequentially optimize expensive black-box functions, such as the validation error of a deep neural network with respect to its hyperparameters. In many real-world scenarios, the optimization is further subject to a priori unknown constraints. For example, training a deep network configuration may fail with an out-of-memory error when the model is too large. In this work, we focus on a general formulation of Gaussian process-based BO with continuous or binary constraints. We propose constrained Max-value Entropy Search (cMES), a novel information theoretic-based acquisition function implementing this formulation. We also revisit the validity of the factorized approximation adopted for rapid computation of the MES acquisition function, showing empirically that this leads to inaccurate results. On an extensive set of real-world constrained hyperparameter optimization problems we show that cMES compares favourably to prior work, while being simpler to implement and faster than other constrained extensions of Entropy Search.

研究动机与目标

• 为解决在未知约束下的贝叶斯优化挑战，特别是在真实世界超参数调优中，约束违反代价高昂或不可行的问题。
• 开发一种计算高效的获取函数，将最大值熵搜索（MES）推广至同时处理实值和二值约束反馈。
• 通过提升对可行区域的探索能力并最小化不可行评估次数，改进现有约束贝叶斯优化方法。
• 研究不同约束最优解 $y_\star$ 的采样策略的影响，特别是先前MES工作中使用的平均场近似的有效性。

提出的方法

• cMES引入一种新颖的信息论获取函数，旨在最大化关于目标函数约束最小值的期望信息增益。
• 通过联合后验采样约束最优解 $y_\star$，避免了平均场近似中的独立性假设，该假设被证明会降低性能。
• 该方法支持观测到和未观测到的目标反馈，使其能够处理仅在约束满足时才评估目标的情形。
• 通过在离散化候选最优解集上进行蒙特卡洛近似计算获取函数，联合采样 $y_\star$ 在目标和约束值上的联合分布。
• 该方法设计更简单、运行更快，相较于其他基于熵搜索的约束贝叶斯优化方法，同时保持高样本效率。
• 该算法在包含二值约束（如OOM失败）和连续约束（如延迟限制）的真实世界超参数优化问题上进行了评估。

实验结果

研究问题

• RQ1 与先前MES中使用的平均场近似相比，对约束最优解 $y_\star$ 的联合采样是否能带来更优的优化性能？
• RQ2 cMES在收敛速度和可行性方面与成熟基线方法（如约束期望改进和自适应百分位数方法）相比表现如何？
• RQ3 cMES能否在真实世界超参数优化场景中有效处理二值和连续约束反馈？
• RQ4 采样最优解数量 $|Y^*|$ 对cMES性能的影响是什么？
• RQ5 cMES能否扩展至约束和目标可独立评估的情形？

主要发现

• 在10个约束超参数优化问题中，cMES在未观测目标情形下的平均排名达到3.08，显著优于约束期望改进（cEI）和其他基线方法。
• 对 $y_\star$ 使用平均场近似导致性能显著下降，平均排名从5.5升至6.5，表明使用边缘分布而非联合分布采样存在严重缺陷。
• 即使仅使用2个样本，$y_\star$ 的联合采样仍具有效性，且性能在10个样本后趋于稳定，表明高样本数量并非必要。
• 尽管简单，自适应百分位数基线方法优于cEI，并与cMES具有竞争力，提示其在未来研究中应被视为强有力的基线。
• cMES在性能上优于PESC及其他熵搜索变体，同时实现更简单、更快速的实现。
• 该方法在二值和实值约束反馈设置下均保持强劲性能，证明了其良好的泛化能力。