[论文解读] Multi-objective Bayesian optimisation with preferences over objectives

Majid Abdolshah, Alistair Shilton+3 more|arXiv (Cornell University)|Feb 12, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 34被引用 9

一句话总结

本文提出了一种多目标贝叶斯优化框架，通过基于梯度的稳定性估计对超体积获取函数进行加权，将用户指定的偏好顺序约束（优先考虑某些目标的稳定性）纳入其中。该方法在无需事先了解目标空间的情况下，高效地定位满足这些偏好的帕累托最优解，在合成问题和真实世界问题（如神经网络超参数调优）中均优于基线方法。

ABSTRACT

We present a multi-objective Bayesian optimisation algorithm that allows the user to express preference-order constraints on the objectives of the type "objective A is more important than objective B". These preferences are defined based on the stability of the obtained solutions with respect to preferred objective functions. Rather than attempting to find a representative subset of the complete Pareto front, our algorithm selects those Pareto-optimal points that satisfy these constraints. We formulate a new acquisition function based on expected improvement in dominated hypervolume (EHI) to ensure that the subset of Pareto front satisfying the constraints is thoroughly explored. The hypervolume calculation is weighted by the probability of a point satisfying the constraints from a gradient Gaussian Process model. We demonstrate our algorithm on both synthetic and real-world problems.

研究动机与目标

• 解决现有多目标贝叶斯优化方法的局限性，即在用户具有明确偏好顺序时仍同等对待所有目标。
• 通过引入用户定义的偏好顺序约束（如“目标A比目标B更稳定（因此更重要）”），实现帕累托前沿的高效探索。
• 开发一种无需事先了解目标空间或预定义偏好区域的方法，与现有基于偏好的方法不同。
• 通过聚焦于满足基于稳定性的偏好约束的帕累托最优解，提升昂贵黑箱优化中的样本效率。

提出的方法

• 通过目标梯度大小的相对关系来表述偏好顺序约束：梯度幅值越小，表示稳定性越高，因此偏好度越高。
• 提出一种新颖的被支配超体积期望改进（EHI）获取函数，根据候选点满足偏好约束的概率对它们进行加权，该概率基于梯度高斯过程模型推导得出。
• 修改超体积计算方式，以整合这些约束概率，确保在优化过程中优先选择满足偏好约束的点。
• 利用约束空间的几何解释来定义帕累托前沿中有效区域，使得具有更高稳定性的偏好目标得以体现。
• 通过将复杂偏好结构（如非锥形约束，例如 s₀ > s₁ 且 s₂ > s₁）视为独立约束并合并结果，处理复杂的偏好结构。
• 该方法应用于合成测试函数和真实世界问题（如神经网络超参数调优），并与 MOBO-RS 及其他基线方法进行性能比较。

实验结果

研究问题

• RQ1 是否可以通过引入用户指定的偏好顺序约束（关于目标稳定性）来增强多目标贝叶斯优化，而无需事先了解目标空间？
• RQ2 如何修改超体积获取函数，以优先选择满足基于稳定性的偏好约束的帕累托最优解？
• RQ3 当存在偏好时，所提出方法相较于标准多目标优化，在样本效率和收敛速度方面提升程度如何？
• RQ4 该方法对不同定义的偏好约束（尤其是非锥形或重叠的约束）的鲁棒性如何？
• RQ5 该方法是否能在真实世界、昂贵的黑箱问题（如神经网络超参数调优）中有效识别出稳定且偏好的帕累托前沿区域？

主要发现

• 所提出方法成功识别出满足用户指定偏好顺序约束的帕累托最优解，例如在首选目标中具有更高稳定性，这在二维和三维合成测试案例中已得到验证。
• 在 Viennet 函数测试案例中，即使约束为非锥形，该方法仍生成了在首选目标（如 f₁ 当 s₁ > s₀ 时）更稳定的帕累托前沿。
• 在 MNIST 数据集上的神经网络超参数调优中，该方法在稳定测试时间范围（0–5）内找到的帕累托最优解比 MOBO-RS 更多，而后者需要事先知道边界框信息。
• 即使未事先知晓偏好区域，该方法在解的多样性与首选目标的稳定性方面仍优于 MOBO-RS。
• 结果表明，该方法可通过将复杂偏好约束（如 s₀ > s₁ 且 s₂ > s₁）分解为独立分量并合并结果，有效处理此类约束。
• 与非偏好感知基线方法相比，该方法获得的平均帕累托前沿在稳定性与约束符合度方面更符合用户偏好。