[论文解读] A Batched Scalable Multi-Objective Bayesian Optimization Algorithm

Xi Lin, Hui‐Ling Zhen+3 more|arXiv (Cornell University)|Nov 4, 2018

Advanced Multi-Objective Optimization Algorithms参考文献 45被引用 8

一句话总结

该论文提出BS-MOBO，一种基于贝叶斯神经网络与蒙特卡洛 dropout 及Sobolev训练的批量可扩展多目标贝叶斯优化算法，实现梯度感知的高维代理建模。该方法提出了一种新型批量超体积上置信度上限（B-HUCB）采集函数，支持高效并行评估，在大规模基准问题与真实世界航天器轨迹优化问题上，性能优于现有最先进方法。

ABSTRACT

The surrogate-assisted optimization algorithm is a promising approach for solving expensive multi-objective optimization problems. However, most existing surrogate-assisted multi-objective optimization algorithms have three main drawbacks: 1) cannot scale well for solving problems with high dimensional decision space, 2) cannot incorporate available gradient information, and 3) do not support batch optimization. These drawbacks prevent their use for solving many real-world large scale optimization problems. This paper proposes a batched scalable multi-objective Bayesian optimization algorithm to tackle these issues. The proposed algorithm uses the Bayesian neural network as the scalable surrogate model. Powered with Monte Carlo dropout and Sobolov training, the model can be easily trained and can incorporate available gradient information. We also propose a novel batch hypervolume upper confidence bound acquisition function to support batch optimization. Experimental results on various benchmark problems and a real-world application demonstrate the efficiency of the proposed algorithm.

研究动机与目标

• 解决现有代理辅助多目标优化算法在高维决策空间中的可扩展性局限。
• 实现将现有梯度信息有效整合到多目标贝叶斯优化中，该方向在现有文献中尚未被探索。
• 支持批量优化以实现并行评估，从而在昂贵优化场景中减少总体计算时钟时间。
• 开发一种可扩展、高效且自适应的采集函数，以在批量设置中平衡探索与利用。
• 在大规模基准问题与真实世界航天器轨迹优化应用中，验证所提方法的有效性。

提出的方法

• 该算法采用带有蒙特卡洛 dropout 的贝叶斯神经网络进行可扩展的代理建模，实现在高维空间中的高效不确定性量化。
• 采用Sobolev训练将梯度信息融入代理模型，从而在函数评估次数有限的情况下提升预测精度。
• 提出一种新型批量超体积上置信度上限（B-HUCB）采集函数，用于同时选择多个有前景的解进行并行评估。
• B-HUCB函数考虑所有先前评估过的解，以在批量选择过程中保持探索与利用之间的平衡。
• 该方法设计时考虑了自适应批量大小调度，但当前实现采用基于问题维度的固定批量大小。
• 该算法在基准问题和一个具有22维决策空间的真实世界航天器轨迹优化任务上进行了评估。

实验结果

研究问题

• RQ1 带有蒙特卡洛 dropout 和Sobolev训练的贝叶斯神经网络代理模型是否能在多目标优化中有效扩展至高维决策空间？
• RQ2 通过Sobolev训练整合梯度信息，是否能提升在昂贵多目标问题中的优化性能？
• RQ3 基于超体积上置信度上限的批量采集函数是否能实现比顺序或非自适应批量方法更好的收敛性与多样性？
• RQ4 固定批量大小与自适应批量大小对批量多目标优化算法性能有何影响？
• RQ5 BS-MOBO在大规模与真实世界问题上与现有最先进代理辅助及无模型多目标优化算法相比表现如何？

主要发现

• 在Rosetta航天器轨迹优化问题上，采用梯度信息的BS-MOBO_g相比所有对比算法均显著提升了超体积性能，参考点为[500, 8]。
• BS-MOBO与BS-MOBO_g获得的近似帕累托前沿在Rosetta问题上主导了其他算法生成的大多数解，证实了其在收敛性与多样性方面的优越性。
• 在具有50个决策变量的大规模基准问题上，BS-MOBO在超体积收敛性方面优于现有最先进代理辅助多目标进化算法与无模型方法。
• 通过Sobolev训练引入梯度信息显著提升了优化性能，尤其在评估次数有限的高维空间中表现突出。
• 所提出的B-HUCB采集函数实现了有效的批量选择，在多个迭代中保持了探索与利用的良好平衡。
• 实验结果表明，固定批量大小并非最优，未来工作应探索在优化阶段自适应调整批量大小的调度策略。