[论文解读] A New Knowledge Gradient-based Method for Constrained Bayesian Optimization

Wenjie Chen, Shengcai Liu+1 more|arXiv (Cornell University)|Jan 20, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 33被引用 6

一句话总结

该论文提出了一种新颖的约束贝叶斯优化方法 c-KG，将知识梯度框架扩展至处理昂贵评估的噪声黑箱目标函数与约束函数。通过引入一种平衡最优性与可行性的新型采集函数，并利用基于 IPA 和 LR 的无偏梯度估计器，c-KG 实现了在不确定性下的高效批量采样。

ABSTRACT

Black-box problems are common in real life like structural design, drug experiments, and machine learning. When optimizing black-box systems, decision-makers always consider multiple performances and give the final decision by comprehensive evaluations. Motivated by such practical needs, we focus on constrained black-box problems where the objective and constraints lack known special structure, and evaluations are expensive and even with noise. We develop a novel constrained Bayesian optimization approach based on the knowledge gradient method ($c- m{KG}$). A new acquisition function is proposed to determine the next batch of samples considering optimality and feasibility. An unbiased estimator of the gradient of the new acquisition function is derived to implement the $c- m{KG}$ approach.

研究动机与目标

• 解决具有多个性能指标和随机约束的黑箱系统优化挑战，其中评估过程昂贵且存在噪声。
• 开发一种新的采集函数，将可行性与最优性整合于约束贝叶斯优化中，扩展知识梯度方法以处理噪声约束。
• 通过在 c-KG 采集函数上构建内层优化问题，实现在约束优化中的高效批量采样。
• 提出一种结合无穷小扰动分析（IPA）与似然比（LR）方法的无偏梯度估计器，以支持随机优化。
• 在药物发现、材料设计以及基于仿真的系统优化等实际应用中，提升收敛性与可行性。

提出的方法

• 提出一种新型采集函数 c-KG，通过引入可行性概率与期望改进，将知识梯度推广至约束问题。
• 将采集函数表述为在考虑未来观测条件下，最优目标值的期望改进，同时兼顾约束满足。
• 通过 IPA 与 LR 方法的混合，推导出 c-KG 的无偏梯度估计器，支持采集函数的随机梯度上升以实现批量选择。
• 采用多起点随机梯度上升算法，求解在候选点批量上最大化 c-KG 的内层优化问题。
• 为目标函数与约束函数引入高斯过程先验，并基于观测数据顺序更新后验分布。
• 构建一个框架，通过在高斯过程后验均值上进行约束非线性规划，每轮迭代估计最优可行解。

实验结果

研究问题

• RQ1 知识梯度原理能否有效扩展至处理昂贵且存在噪声评估的黑箱优化中的随机约束？
• RQ2 如何设计一种采集函数，以在约束贝叶斯优化中同时平衡最优性与可行性？
• RQ3 是否存在一种高效且无偏的方法，用于估计涉及指示函数与高斯过程后验的复杂采集函数的梯度？
• RQ4 在噪声条件下，所提出的 c-KG 方法相较于现有约束贝叶斯优化方法，在收敛性与可行性方面表现如何？
• RQ5 是否可通过一种可计算且可微的采集函数，有效支持考虑目标与约束不确定性的批量采样？

主要发现

• 所提出的 c-KG 采集函数成功将可行性与最优性整合为单一、可处理的目标，实现了对约束搜索空间的有效探索。
• 混合 IPA-LR 梯度估计器为 c-KG 梯度提供了无偏估计，支持采集函数的可靠随机优化。
• 该方法在约束优化任务中表现出更优的收敛性与可行性，尤其在评估存在噪声且无已知函数结构的场景下。
• 实验结果表明，c-KG 在更少函数评估次数下，优于基线方法，能更有效地找到可行且高质量的解，尤其在多约束与高噪声环境中。
• 该算法框架支持批量采样，可并行评估多个候选解，这对昂贵的实际应用至关重要。
• 理论分析证实，该梯度估计器在温和正则性假设下满足无偏性与收敛性的必要条件。