[论文解读] Fast Exact Computation of Expected HyperVolume Improvement

Guang Zhao, Raymundo Arróyave+1 more|arXiv (Cornell University)|Dec 18, 2018

VLSI and Analog Circuit Testing参考文献 22被引用 14

一句话总结

本文提出了三种新的精确算法，用于在多目标贝叶斯优化中计算期望超体积改进（EHVI），通过在分解后的超长方体中采用闭式积分计算，实现了显著的速度提升。基于CLM的算法在m=3时达到Θ(n log n)的时间复杂度，而基于WFG的方法在m>3时将计算速度提升了100倍以上，使得在材料发现等高成本设计空间中实现实际的贝叶斯优化成为可能。

ABSTRACT

In multi-objective Bayesian optimization and surrogate-based evolutionary algorithms, Expected HyperVolume Improvement (EHVI) is widely used as the acquisition function to guide the search approaching the Pareto front. This paper focuses on the exact calculation of EHVI given a nondominated set, for which the existing exact algorithms are complex and can be inefficient for problems with more than three objectives. Integrating with different decomposition algorithms, we propose a new method for calculating the integral in each decomposed high-dimensional box in constant time. We develop three new exact EHVI calculation algorithms based on three region decomposition methods. The first grid-based algorithm has a complexity of $O(m\cdot n^m)$ with $n$ denoting the size of the nondominated set and $m$ the number of objectives. The Walking Fish Group (WFG)-based algorithm has a worst-case complexity of $O(m\cdot 2^n)$ but has a better average performance. These two can be applied for problems with any $m$. The third CLM-based algorithm is only for $m=3$ and asymptotically optimal with complexity $Θ(n\log{n})$. Performance comparison results show that all our three algorithms are at least twice faster than the state-of-the-art algorithms with the same decomposition methods. When $m>3$, our WFG-based algorithm can be over $10^2$ faster than the corresponding existing algorithms. Our algorithm is demonstrated in an example involving efficient multi-objective material design with Bayesian optimization.

研究动机与目标

• 解决高维多目标优化中精确EHVI计算的计算低效问题，特别是当m > 3时。
• 提出一个统一框架，以精确且高效的方式计算不同超体积分解方法下的EHVI积分。
• 在数据稀疏、仿真密集的领域（如材料科学）中，实现实际的、实时的贝叶斯实验设计。
• 与现有最先进算法相比，实现渐近最优或显著改进的时间复杂度。
• 在使用贝叶斯优化加速自主材料发现方面，验证所提方法的有效性。

提出的方法

• 推导出一种新的EHVI积分表达式，使得在每个分解后的超长方体中，被积函数可实现常数时间的闭式求值。
• 将新的闭式积分与三种不同的超体积分解方法（基于网格、基于WFG、基于CLM）相结合。
• 实现一种基于网格的算法，时间复杂度为O(m·n^m)，适用于任意数量的目标m。
• 开发一种基于WFG的算法，最坏情况时间复杂度为O(m·2^n)，但平均性能更优，适用于任意m。
• 提出一种专用于m=3个目标的基于CLM的算法，具有渐近最优的Θ(n log n)时间复杂度。
• 在多目标材料设计的顺序贝叶斯优化流程中应用这些算法，采用高斯过程代理模型并进行完全的EHVI最大化。

实验结果

研究问题

• RQ1 我们能否通过在每个分解后的超长方体中推导出被积函数的闭式表达式，实现精确EHVI计算的显著加速？
• RQ2 在不同分解策略下，所提方法在性能和复杂度方面与现有最先进EHVI算法相比如何？
• RQ3 所提算法能否在超过三个目标的问题中实现高效扩展，从而解决以往方法在该场景下不可行的问题？
• RQ4 新的EHVI计算框架是否能实现在材料发现等高成本、多目标设计空间中的实际、实时贝叶斯优化？
• RQ5 与随机采样相比，新的EHVI计算对贝叶斯优化的收敛性和性能有何影响？

主要发现

• 所提出的基于CLM的算法在m=3时达到Θ(n log n)的时间复杂度，与先前专用方法的渐近最优性一致，但框架更具通用性。
• 当m > 3时，基于WFG的算法相比现有算法将EHVI计算时间减少了两个多数量级（超过100倍）。
• 所有三种所提算法在使用相同分解方法时，均比其最先进对应算法快至少两倍。
• 在一项真实的NiTi形状记忆合金设计任务中，基于CLM的算法将完全EHVI搜索时间从每次迭代超过一小时缩短至不足一秒。
• 使用新EHVI算法的贝叶斯优化在收敛到帕累托前沿方面显著快于随机采样，且在20次初始采样后，支配超体积迅速提升。
• 该框架在数据稀疏、仿真密集的领域中实现了高效、自主且鲁棒的实验设计，其应用范围远超材料科学领域。