[论文解读] Improved Max-value Entropy Search for Multi-objective Bayesian Optimization with Constraints

Daniel Fernández-Sánchez, Eduardo C. Garrido‐Merchán+1 more|arXiv (Cornell University)|Nov 2, 2020

Advanced Multi-Objective Optimization Algorithms被引用 4

一句话总结

MESMOC+ 是一种用于约束型多目标贝叶斯优化的新颖采集函数，通过最小化函数空间中帕累托前沿的熵，实现计算成本线性增长的信息论高效搜索。其在熵估计精度和优化性能方面优于先前方法，尤其在解耦评估设置中，能够动态选择待评估的输入位置和黑箱函数。

ABSTRACT

We present MESMOC+, an improved version of Max-value Entropy search for Multi-Objective Bayesian optimization with Constraints (MESMOC). MESMOC+ can be used to solve constrained multi-objective problems when the objectives and the constraints are expensive to evaluate. MESMOC+ works by minimizing the entropy of the solution of the optimization problem in function space, i.e., the Pareto frontier, to guide the search for the optimum. The cost of MESMOC+ is linear in the number of objectives and constraints. Furthermore, it is often significantly smaller than the cost of alternative methods based on minimizing the entropy of the Pareto set. The reason for this is that it is easier to approximate the required computations in MESMOC+. Moreover, MESMOC+'s acquisition function is expressed as the sum of one acquisition per each black-box (objective or constraint). Thus, it can be used in a decoupled evaluation setting in which one chooses not only the next input location to evaluate, but also which black-box to evaluate there. We compare MESMOC+ with related methods in synthetic and real optimization problems. These experiments show that the entropy estimation provided by MESMOC+ is more accurate than that of previous methods. This leads to better optimization results. MESMOC+ is also competitive with other information-based methods for constrained multi-objective Bayesian optimization, but it is significantly faster.

研究动机与目标

• 解决在约束条件下使用贝叶斯优化对多个昂贵评估目标进行优化的挑战。
• 降低多目标和约束设置下基于熵的采集函数的计算成本。
• 通过允许在每次迭代中独立选择输入位置和待评估的黑箱函数，实现解耦评估。
• 相比现有方法，提高对帕累托前沿熵估计的准确性。
• 在保持每次迭代计算成本较低的前提下，以更少的评估次数实现更优的优化性能。

提出的方法

• 提出一种专为多目标优化与约束设计的改进型最大值熵搜索（MES）框架（MESMOC+）。
• 将目标函数和约束建模为高斯过程，以估计输入空间中未探索区域的不确定性。
• 将采集函数定义为帕累托前沿在函数空间中熵的期望减少量。
• 将采集函数表示为每个黑箱（目标或约束）贡献的总和，从而支持解耦评估。
• 使用蒙特卡洛采样近似难以计算的熵减少量，且计算效率与目标和约束数量呈线性关系。
• 支持耦合与解耦评估模式：在后者中，不仅选择评估位置，还选择在每个点上评估哪个黑箱。

实验结果

研究问题

• RQ1 能否在保持低计算成本的前提下，将基于熵的采集函数高效扩展至多目标优化与约束设置？
• RQ2 在约束型多目标设置下，MESMOC+ 对帕累托前沿熵估计的准确性与现有方法相比如何？
• RQ3 MESMOC+ 的解耦评估能力是否能在相同评估次数下提升优化性能？
• RQ4 与最先进的信息论方法相比，MESMOC+ 在效率和收敛速度方面表现如何？
• RQ5 在真实世界问题中，MESMOC+ 是否能获得优于基线方法（如 PESMOC 和 RANDOM）的帕累托前沿超体积？

主要发现

• MESMOC+ 的熵估计精度显著优于先前方法，从而带来了更优的优化结果。
• MESMOC+ 的解耦变体优于其耦合版本，在相同评估次数下实现了更高的帕累托前沿超体积。
• 在神经网络超参数调优任务中，PESMOC${}_{\text{dec}}$ 在 100 次评估后达到最高超体积，MESMOC+${}_{\text{dec}}$ 紧随其后。
• 在 100 次评估后，MESMOC+${}_{\text{dec}}$ 与 PESMOC${}_{\text{dec}}$ 的性能差距极小，表明其具有出色的收敛性。
• MESMOC+${}_{\text{dec}}$ 将大部分评估集中在预测误差黑箱上，反映出该黑箱具有更高的优化难度。
• 由于其在目标和约束数量上呈线性计算成本，MESMOC+ 每次迭代的运行速度显著快于其他基于信息的对比方法。