[论文解读] Constrained Efficient Global Optimization of Expensive Black-box Functions

Wenjie Xu, Yuning Jiang+2 more|arXiv (Cornell University)|Oct 31, 2022

Advanced Bandit Algorithms Research被引用 11

一句话总结

该论文提出 CONFIG，一种新颖的算法，用于使用高斯过程对昂贵的黑箱函数进行约束高效全局优化。通过求解一个使用低置信度边界（LCB）代理的辅助问题，CONFIG 在 Matérn 和平方指数核下实现了次线性累积遗憾和约束违反边界，确保收敛至最优解，同时自然检测不可行性。

ABSTRACT

We study the problem of constrained efficient global optimization, where both the objective and constraints are expensive black-box functions that can be learned with Gaussian processes. We propose CONFIG (CONstrained efFIcient Global Optimization), a simple and effective algorithm to solve it. Under certain regularity assumptions, we show that our algorithm enjoys the same cumulative regret bound as that in the unconstrained case and similar cumulative constraint violation upper bounds. For commonly used Matern and Squared Exponential kernels, our bounds are sublinear and allow us to derive a convergence rate to the optimal solution of the original constrained problem. In addition, our method naturally provides a scheme to declare infeasibility when the original black-box optimization problem is infeasible. Numerical experiments on sampled instances from the Gaussian process, artificial numerical problems, and a black-box building controller tuning problem all demonstrate the competitive performance of our algorithm. Compared to the other state-of-the-art methods, our algorithm significantly improves the theoretical guarantees, while achieving competitive empirical performance.

研究动机与目标

• 解决在每次函数评估成本高昂且无法获取梯度信息的情况下，对昂贵黑箱函数进行约束优化的挑战。
• 克服现有方法在遗憾或约束违反方面缺乏理论保证，或需要大量参数调优的局限性。
• 开发一种确保收敛至最优解的方法，同时提供自然的不可行性检测机制。
• 在累积遗憾和约束违反边界方面，相较于最先进约束贝叶斯优化方法，提供更强的理论保证。
• 在合成问题和实际应用（如建筑控制器调优）中实现具有竞争力的实验性能。

提出的方法

• 使用高斯过程代理对目标函数和约束函数进行约束优化问题的建模。
• 为目标函数和约束构建低置信度边界（LCB）代理，以平衡探索与约束满足。
• 在每次迭代中求解一个辅助优化问题，即在基于 LCB 的约束可行性条件下最大化目标函数的 LCB。
• 将该辅助问题的解作为下一个查询点，以最小化累积遗憾和约束违反。
• 利用信息增益和核函数特定属性（例如 Matérn 和平方指数核）推导遗憾和约束违反的理论边界。
• 通过在迭代过程中监控辅助问题的可行性，自然实现不可行性的检测机制。

实验结果

研究问题

• RQ1 我们能否设计一种约束高效全局优化算法，使其理论收敛保证与无约束情况相当？
• RQ2 我们能否为具有 Matérn 和平方指数核的昂贵黑箱函数，推导出累积遗憾和累积约束违反的次线性边界？
• RQ3 我们如何确保算法在不事先知晓可行点的情况下，检测原始问题的不可行性？
• RQ4 所提出的方法能否在理论保证和实验性能两方面均优于现有最先进方法？
• RQ5 在建筑控制器调优等实际应用中，该算法是否能保持强大性能，其中约束至关重要且评估成本高昂？

主要发现

• 在标准正则性假设下，CONFIG 实现了与无约束情况相同的次线性累积遗憾边界，确保收敛至最优解。
• 累积约束违反边界以最大信息增益为基准，其量级与遗憾边界相似，且在常用的 Matérn 和平方指数核下为次线性。
• 对于满足 ν > d/2 的光滑度参数的 Matérn 和平方指数核，边界为次线性，从而实现最优解的明确定义收敛速率。
• 当辅助问题变得不可行时，CONFIG 自然检测到不可行性，提供一种合理的方法来断言不存在可行解。
• 在数值实验中，CONFIG 在合成问题和真实世界的建筑控制器调优任务中，性能优于或至少与最先进的方法（如 CEI 和 SafeOPT）相当。
• 在建筑控制器调优问题中，CONFIG 仅用 15 次函数评估即找到最优解，在目标质量方面优于谨慎的 SafeOPT 方法。