[论文解读] Differentiable Expected Hypervolume Improvement for Parallel Multi-Objective Bayesian Optimization

Samuel Daulton, Maximilian Balandat+1 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 65被引用 121

一句话总结

引入 q-EHVI，一种可微分的、并行的多目标贝叶斯优化采集函数，能够在 MC 误差以内精确计算联合 EHVI，并通过自动微分获得精确梯度以及 GPU 加速，展示出卓越的性能与可处理性。

ABSTRACT

In many real-world scenarios, decision makers seek to efficiently optimize multiple competing objectives in a sample-efficient fashion. Multi-objective Bayesian optimization (BO) is a common approach, but many of the best-performing acquisition functions do not have known analytic gradients and suffer from high computational overhead. We leverage recent advances in programming models and hardware acceleration for multi-objective BO using Expected Hypervolume Improvement (EHVI)---an algorithm notorious for its high computational complexity. We derive a novel formulation of q-Expected Hypervolume Improvement (qEHVI), an acquisition function that extends EHVI to the parallel, constrained evaluation setting. qEHVI is an exact computation of the joint EHVI of q new candidate points (up to Monte-Carlo (MC) integration error). Whereas previous EHVI formulations rely on gradient-free acquisition optimization or approximated gradients, we compute exact gradients of the MC estimator via auto-differentiation, thereby enabling efficient and effective optimization using first-order and quasi-second-order methods. Our empirical evaluation demonstrates that qEHVI is computationally tractable in many practical scenarios and outperforms state-of-the-art multi-objective BO algorithms at a fraction of their wall time.

研究动机与目标

• 解决多个高成本目标的样本效率优化。
• 开发用于MO BO的可微分并行采集函数。
• 通过自动微分实现 q-EHVI 的精确梯度计算。
• 在 SAA 框架下提供理论收敛性保证。
• 在基准测试和实际问题上展示经验上的优越性和实际可行性。

提出的方法

• 将 q-EHVI 形式化为针对 q 个新点的基于 MC 的联合超体积改进的精确形式。
• 使用盒分解和容斥原理在非支配空间中计算 HVI。
• 通过重参数化和自动微分对 MC 估计梯度进行精确计算。
• 应用样本平均近似以使获取最大化可用确定性高阶优化器。
• 通过可微的 sigmoid 进行可行性加权，将结果约束扩展到结果约束。
• 利用 GPU 并行性在实际中实现快速 wall times 和接近常数的每点计算。

实验结果

研究问题

• RQ1 在 M>2 个目标下，q-EHVI 是否能够实现并行 MO BO 的精确联合 EHVI，且误差在 MC 误差范围内？
• RQ2 与无梯度方法相比，精确的 MC 梯度是否使 q-EHVI 的基于梯度的优化更加高效？
• RQ3 在辅助结果约束和高并行设置下，q-EHVI 的表现如何？
• RQ4 在样本平均近似框架下优化 q-EHVI 时，有哪些收敛性保证？

主要发现

• q-EHVI 使得 MC 估计量在并行 MO BO、M>2 以及约束条件下具备精确梯度。
• 该方法在经验上比最先进的 MO BO 基线更快，同时通常实现更好的超体积覆盖度。
• 使用精确梯度的优化明显优于无梯度和有限差分方法。
• 顺序贪婪和联合优化都是可行的，待定点的顺序集成显示出有利的性能。
• 该方法在现代 GPU 上扩展高效，提供实际的 wall time，并在批量大小 q 增长时保持鲁棒性（受分区限制影响）。
• 在合成和真实世界的 MO 问题（包括车辆安全设计和 ABR 控制）上的实验表明，在收敛速度和最终超体积方面具有优越性能。