[论文解读] Bayesian Optimization for Multi-objective Optimization and Multi-point Search

Takashi Wada, Hideitsu Hino|arXiv (Cornell University)|May 7, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 15被引用 14

一句话总结

该论文提出了一种新颖的非启发式贝叶斯优化方法，通过引入联合采集函数，同时处理多目标优化与多点搜索。该方法采用计算高效的梯度近似技术，克服了高维搜索空间中的梯度消失问题，在单峰测试函数上表现出优于或相当的性能，但在多峰问题上仍易陷入局部最优。

ABSTRACT

Bayesian optimization is an effective method to efficiently optimize unknown objective functions with high evaluation costs. Traditional Bayesian optimization algorithms select one point per iteration for single objective function, whereas in recent years, Bayesian optimization for multi-objective optimization or multi-point search per iteration have been proposed. However, Bayesian optimization that can deal with them at the same time in non-heuristic way is not known at present. We propose a Bayesian optimization algorithm that can deal with multi-objective optimization and multi-point search at the same time. First, we define an acquisition function that considers both multi-objective and multi-point search problems. It is difficult to analytically maximize the acquisition function as the computational cost is prohibitive even when approximate calculations such as sampling approximation are performed; therefore, we propose an accurate and computationally efficient method for estimating gradient of the acquisition function, and develop an algorithm for Bayesian optimization with multi-objective and multi-point search. It is shown via numerical experiments that the performance of the proposed method is comparable or superior to those of heuristic methods.

研究动机与目标

• 开发一种非启发式贝叶斯优化框架，联合解决多目标优化与多点搜索问题。
• 克服在多点与多目标设置下，高维采集函数优化中的计算不可行性与梯度消失问题。
• 设计一种采集函数，整合多目标权衡与多个点的并行评估。
• 通过一种新颖的基于采样的方法，实现采集函数的高效且精确的梯度估计，避免高维空间中的零梯度问题。
• 通过实验验证该方法在基准多目标测试函数上相对于启发式方法的搜索效率。

提出的方法

• 该方法定义了一个联合采集函数，将期望超体积改进（EHI）扩展至同时处理多目标优化与多点搜索。
• 将采集函数表述为涉及 q 个候选点处多个目标值联合分布的多变量积分。
• 为估计采集函数的梯度，论文提出一种基于蒙特卡洛的方法，利用重参数化技巧计算相对于输入点的期望改进梯度。
• 通过采样计算梯度近似，并采用路径式导数方法避免直接对采集函数求导，从而确保数值稳定性。
• 使用拟牛顿法结合近似梯度对采集函数进行优化，实现在高维输入空间中的高效搜索。
• 该方法采用高斯过程作为目标函数的底层概率模型。

实验结果

研究问题

• RQ1 能否设计一种非启发式贝叶斯优化框架，以同时处理多目标优化与多点搜索？
• RQ2 如何构建采集函数，以联合建模多目标权衡与多个点的并行评估？
• RQ3 何种计算策略可有效估计高维搜索空间中采集函数的梯度，且避免梯度消失问题？
• RQ4 与将 EHI 与遗传算法结合用于采集函数优化的启发式方法相比，所提方法在搜索效率上表现如何？
• RQ5 该方法在多峰目标函数下的鲁棒性如何？在这些情况下是否会陷入局部最优？

主要发现

• 在 ZDT1 和 DTLZ2 等单峰测试函数上，该方法在优化早期阶段即实现了优于或相当的超体积收敛性能。
• 对于多峰的 ZDT3 函数，该方法收敛至的最终超体积低于启发式方法，表明其对局部最优的敏感性。
• 当搜索点数量较高（q=8）时，该方法在 ZDT3 上优于启发式方法，表明其在大规模场景下具备更强的探索能力。
• 梯度估计方法精度高，即使在 d_x=6, q=8 的情况下，真实梯度与估计梯度之间的平均夹角仅为 0.30 弧度。
• 所提出的梯度近似方法有效缓解了梯度消失问题，实现了高维搜索空间中的稳定优化。
• 该方法表现出良好的计算效率与可扩展性，成功优化了涉及高达 48 维输入空间（d_x=6, q=8）的采集函数。