[论文解读] Joint Entropy Search for Multi-objective Bayesian Optimization

Ben Tu, Axel Gandy+2 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Multi-Objective Optimization Algorithms被引用 13

一句话总结

本文提出联合熵搜索（Joint Entropy Search, JES），一种用于多目标贝叶斯优化的新型信息论采集函数，通过最大化最优输入与输出之间的联合信息增益来实现。通过建模帕累托最优集的不确定性，并采用解析可处理的近似方法，JES 提升了样本效率，并在使用超体积（hypervolume）和加权超体积（weighted hypervolume）指标的合成问题与真实世界问题上表现出优越性能。

ABSTRACT

Many real-world problems can be phrased as a multi-objective optimization problem, where the goal is to identify the best set of compromises between the competing objectives. Multi-objective Bayesian optimization (BO) is a sample efficient strategy that can be deployed to solve these vector-valued optimization problems where access is limited to a number of noisy objective function evaluations. In this paper, we propose a novel information-theoretic acquisition function for BO called Joint Entropy Search (JES), which considers the joint information gain for the optimal set of inputs and outputs. We present several analytical approximations to the JES acquisition function and also introduce an extension to the batch setting. We showcase the effectiveness of this new approach on a range of synthetic and real-world problems in terms of the hypervolume and its weighted variants.

研究动机与目标

• 解决函数评估成本高且存在噪声的样本高效多目标优化挑战。
• 开发一种采集函数，同时捕捉最优输入与输出的联合不确定性，而非仅关注其中一方。
• 提供一种有原则的信息论替代方案，以替代可能因偏差或探索不足而表现不佳的基于标量化或改进的采集函数。
• 确保对目标重参数化的不变性，使方法对目标尺度与变换具有鲁棒性。
• 将框架扩展至批量、约束及解耦评估设置，以增强实际应用的广泛性。

提出的方法

• 提出联合熵搜索（JES），一种采集函数，用于量化最优输入与输出联合后验分布熵的期望减少量。
• 通过条件熵估计与盒分解技术，推导出JES采集函数的解析近似，包括JES-LB2与JES-0。
• 通过将信息增益推广至多个并行评估，实现JES的批量扩展。
• 通过将不等式约束整合到累积分布函数（CDF）的可行区域中，将JES适配至约束优化。
• 通过证明JES-LB2与MES-LB2在目标间具有可加性，实现解耦评估，从而支持对单个目标的选择性查询。
• 通过结合成本加权保真度建模与条件熵分解，将框架扩展至多保真度设置。

实验结果

研究问题

• RQ1 一种同时对最优输入与输出的不确定性进行建模的采集函数，是否能在多目标贝叶斯优化中实现更高的样本效率？
• RQ2 与基于标量化或基于改进的采集函数相比，JES在收敛速度与超体积性能方面表现如何？
• RQ3 JES在目标重参数化下具有多大程度的不变性？这种不变性如何影响其在高维或尺度不匹配问题中的鲁棒性？
• RQ4 JES是否能有效扩展至批量、约束及解耦评估设置，同时保持理论基础？
• RQ5 所提出的加权超体积指标是否能比标准超体积提供更细致的多目标优化性能评估？

主要发现

• 在合成与真实世界多目标问题上，JES在早期迭代中相比最先进基线方法实现了更优的超体积改进。
• JES的解析近似——JES-LB2与JES-0——具有可微性且计算上可行，支持通过基于梯度的方法实现高效优化。
• JES对目标重参数化具有不变性，使其对目标缩放与变换具有鲁棒性，而这是许多基于改进的度量所不具备的。
• 附录中提出的加权超体积策略，实现了对目标空间不同区域性能的更细致评估。
• 对约束优化的扩展是有效的，通过将可行区域划分为盒子以计算约束CDF与信息增益。
• JES的解耦评估变体在理论上兼容选择性目标查询，但当前基准测试中其相对于完整评估的实证增益仍较微弱。