[论文解读] Multi-objective Bayesian Optimization using Pareto-frontier Entropy

Shinya Suzuki, Shion Takeno+3 more|arXiv (Cornell University)|Jun 1, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 30被引用 13

一句话总结

本文提出了一种新型多目标贝叶斯优化方法——Pareto-frontier熵搜索（PFES），该方法利用目标空间中Pareto前沿的熵来指导获取函数，实现无需近似、可靠且可分析的熵计算。PFES通过有效捕捉目标间的权衡关系并适应解耦观测设置，在基准数据集和真实世界材料科学数据集上均表现出更快的收敛速度。

ABSTRACT

This paper studies an entropy-based multi-objective Bayesian optimization (MBO). The entropy search is successful approach to Bayesian optimization. However, for MBO, existing entropy-based methods ignore trade-off among objectives or introduce unreliable approximations. We propose a novel entropy-based MBO called Pareto-frontier entropy search (PFES) by considering the entropy of Pareto-frontier, which is an essential notion of the optimality of the multi-objective problem. Our entropy can incorporate the trade-off relation of the optimal values, and further, we derive an analytical formula without introducing additional approximations or simplifications to the standard entropy search setting. We also show that our entropy computation is practically feasible by using a recursive decomposition technique which has been known in studies of the Pareto hyper-volume computation. Besides the usual MBO setting, in which all the objectives are simultaneously observed, we also consider the "decoupled" setting, in which the objective functions can be observed separately. PFES can easily adapt to the decoupled setting by considering the entropy of the marginal density for each output dimension. This approach incorporates dependency among objectives conditioned on Pareto-frontier, which is ignored by the existing method. Our numerical experiments show effectiveness of PFES through several benchmark datasets.

研究动机与目标

• 解决现有基于熵的多目标贝叶斯优化方法依赖不可靠近似或忽略目标间权衡关系的局限性。
• 开发一种直接建模Pareto前沿不确定性的方法，以捕捉目标之间的内在权衡关系。
• 利用递归单元划分技术，实现Pareto前沿熵的高效且可分析的计算。
• 通过利用边缘密度熵，将框架扩展至解耦观测设置，即各项目标可独立评估。
• 在基准函数和真实世界材料数据集上对PFES进行实证验证，证明其在收敛速度和成本效率方面的优越性。

提出的方法

• PFES基于目标空间中Pareto前沿的熵定义获取函数，而非Pareto最优输入的熵。
• 采用基于单元的划分方法，将被支配空间划分为超矩形，以实现Pareto前沿熵的可分析计算，避免昂贵的近似。
• 利用来自Pareto超体积计算的递归分解技术，有效控制计算复杂度，尤其适用于L ≥ 3个目标的情况。
• 在解耦设置中，PFES计算每个目标维度的边缘密度熵，以捕捉基于Pareto前沿的依赖关系。
• 获取函数在标准基于熵的假设下推导得出，确保理论一致性与无权衡参数的全局效用度量。
• PFES与高斯过程回归集成，并在实际中使用基于采样的Pareto前沿估计来计算熵。

实验结果

研究问题

• RQ1 在多目标贝叶斯优化中，能否在不引入近似的情况下实现Pareto前沿熵的可分析计算？
• RQ2 如何在信息论获取函数中有效捕捉目标之间的权衡结构？
• RQ3 所提出的方法能否扩展至目标可分别观测的解耦观测设置？
• RQ4 在基准问题和真实世界问题上，PFES与现有基于熵的方法及标量化MBO方法相比，在性能和计算效率方面表现如何？
• RQ5 在昂贵的真实世界材料设计场景中，PFES是否能在每次观测成本下实现更快的超体积改进收敛速度？

主要发现

• PFES通过单元划分实现了Pareto前沿熵的可分析计算，避免了PESMO等先前方法中使用的不可靠近似。
• 该方法有效捕捉了目标之间的权衡关系，而MESMO仅关注单个目标的最大值，忽略了前沿结构。
• 在L=4个目标的基准DTLZ4中，PFES与MESMO计算时间相当（62.36秒），同时保持了可分析的可靠性并展现出更好的权衡感知能力。
• 在真实材料数据集（Bi2O3和LLTO）上，PFES（解耦）在初期表现出适度改进，但在收集到更低成本的观测后显著加速，其在总成本下的超体积增益优于耦合PFES。
• 对于Bi2O3，当(λ₁,λ₂)=(5,1)时，PFES（解耦）在早期到中期迭代中比SMSego、EHI和PFES实现了更快的收敛，展现出成本感知的探索能力。
• PFES的解耦变体优先利用低成本函数评估，随后转向高成本评估，从而更高效地利用观测预算，并随时间推移实现了更高的超体积改进。