[论文解读] Bayesian Optimization with Unknown Constraints

Michael A. Gelbart, Jasper Snoek+1 more|arXiv (Cornell University)|Mar 22, 2014

Machine Learning and Algorithms参考文献 18被引用 289

一句话总结

本文提出了一种贝叶斯优化框架，用于处理约束未知、噪声大且可独立评估的约束黑箱问题。该框架引入了一种概率性获取函数，以平衡探索、利用与约束满足，展示了在严格收敛性和效率约束下调优机器学习算法和HMC参数方面的优越性能。

ABSTRACT

Recent work on Bayesian optimization has shown its effectiveness in global optimization of difficult black-box objective functions. Many real-world optimization problems of interest also have constraints which are unknown a priori. In this paper, we study Bayesian optimization for constrained problems in the general case that noise may be present in the constraint functions, and the objective and constraints may be evaluated independently. We provide motivating practical examples, and present a general framework to solve such problems. We demonstrate the effectiveness of our approach on optimizing the performance of online latent Dirichlet allocation subject to topic sparsity constraints, tuning a neural network given test-time memory constraints, and optimizing Hamiltonian Monte Carlo to achieve maximal effectiveness in a fixed time, subject to passing standard convergence diagnostics.

研究动机与目标

• 解决目标函数和约束均为昂贵、黑箱函数且约束函数未知、可能含有噪声的约束优化问题。
• 开发一种通用框架，支持概率性约束，允许用户指定约束违反的置信水平（δ）。
• 支持目标函数与约束函数的独立评估，这在产品设计和机器学习超参数调优等实际应用中十分常见。
• 将贝叶斯优化从无约束设置扩展至支持复杂可行性与性能约束的实际场景。
• 在真实问题上验证该方法的有效性，例如在严格资源与性能约束下调优HMC、神经网络及带稀疏性与内存约束的在线LDA。

提出的方法

• 采用概率性约束建模约束的贝叶斯优化，其中约束被建模为具有用户定义置信水平（δ）的随机过程。
• 提出一种新颖的获取函数，通过将约束满足的概率纳入优化目标，将期望改进（Expected Improvement）扩展至处理约束。
• 使用高斯过程对目标函数与约束函数进行建模，实现对潜在高价值评估点的不确定性感知选择。
• 整合目标函数与约束函数的独立评估，支持对现实世界优化流程的灵活且真实的建模。
• 采用联合优化策略，在最大化期望改进的同时确保高可行性概率，通过解析近似实现计算的可 tractability（可计算性）。
• 以迭代方式应用该框架：每次评估后更新后验信念，重新计算获取函数，并基于目标与约束的联合效用选择下一个评估点。

实验结果

研究问题

• RQ1 如何将贝叶斯优化扩展至处理黑箱优化问题中未知、噪声大的约束？
• RQ2 何种获取函数公式能够有效探索可行区域，同时平衡目标函数改进与约束满足？
• RQ3 所提方法能否在严格性能与资源约束下高效优化复杂系统（如HMC与神经网络）？
• RQ4 该框架如何处理目标函数与约束函数的独立评估？相较于联合评估，其优势为何？
• RQ5 该方法在真实应用中，能在多大程度上减少寻找高质量、可行解所必需的昂贵评估次数？

主要发现

• 所提方法成功调优了哈密顿蒙特卡洛（HMC）参数，实现每秒12.5个有效样本，且100%满足约束，优于基线配置。
• 在HMC调优中，该方法仅选择τ=2个跳跃步长和3.8%的预烧期时间，显著减少计算时间，同时保持较高的有效样本量。
• 优化结果实现了70%的接受率，而基线为85%，表明在步数更少的情况下，较低的接受率也可接受，且效率更高。
• 该框架发现HMC中数值积分在ε > 0.1时发散，该结果通过约束表面图可视化，证实了方法识别不可行区域的能力。
• 在在线LDA中，该方法有效优化了主题稀疏性约束，展示了其在自然语言处理与模型正则化中的适用性。
• 该方法在多种问题中表现出鲁棒性，包括内存受限的神经网络调优与实时系统优化，始终保证约束满足并提升性能。