[论文解读] Faster Computation of Expected Hypervolume Improvement

Iris Hupkens, Michael Emmerich+1 more|arXiv (Cornell University)|Aug 29, 2014

Advanced Multi-Objective Optimization Algorithms参考文献 33被引用 11

一句话总结

本文提出了一种用于多目标优化中精确计算期望超体积改进（EHVI）的新算法，将双目标情况的时间复杂度降低至O(n²)，三目标情况降低至O(n³)。通过利用高效的数据结构和批量处理，实现了快速且精确的EHVI评估，取代了耗时的蒙特卡洛方法，使EHVI在贝叶斯全局优化框架中得以实际应用。

ABSTRACT

The expected improvement algorithm (or efficient global optimization) aims for global continuous optimization with a limited budget of black-box function evaluations. It is based on a statistical model of the function learned from previous evaluations and an infill criterion - the expected improvement - used to find a promising point for a new evaluation. The `expected improvement' infill criterion takes into account the mean and variance of a predictive multivariate Gaussian distribution. The expected improvement algorithm has recently been generalized to multiobjective optimization. In order to measure the improvement of a Pareto front quantitatively the gain in dominated (hyper-)volume is used. The computation of the expected hypervolume improvement (EHVI) is a multidimensional integration of a step-wise defined non-linear function related to the Gaussian probability density function over an intersection of boxes. This paper provides a new algorithm for the exact computation of the expected improvement to more than two objective functions. For the bicriteria case it has a time complexity in $O(n^2)$ with $n$ denoting the number of points in the current best Pareto front approximation. It improves previously known algorithms with time complexity $O(n^3 \log n)$. For tricriteria optimization we devise an algorithm with time complexity of $O(n^3)$. Besides discussing the new time complexity bounds the speed of the new algorithm is also tested empirically on test data. It is shown that further improvements in speed can be achieved by reusing data structures built up in previous iterations. The resulting numerical algorithms can be readily used in existing implementations of hypervolume-based expected improvement algorithms.

研究动机与目标

• 开发一种更快、更精确的算法，用于多目标优化中的期望超体积改进（EHVI）计算。
• 将双目标情况下EHVI计算的时间复杂度从O(n³ log n)降低至O(n²)。
• 将精确EHVI计算扩展至两个以上目标，特别是三目标情况。
• 通过提升计算效率，实现EHVI作为高效全局优化（EGO）中采样准则的实际部署。
• 通过与蒙特卡洛积分对比，在合成测试数据上验证新算法的可行性与速度表现。

提出的方法

• 提出一种基于Pareto前沿点结构化数据处理的双目标优化中精确EHVI计算新算法，时间复杂度为O(n²)。
• 提出一种适用于m维空间的EHVI计算通用算法，并针对三目标情况进行了优化实现。
• 利用线性数据结构与几何分解方法，计算分段非线性函数在盒形交集区域上的多维积分。
• 通过批量评估与数据结构缓存进一步加速多个候选点的EHVI计算。
• 重用前一迭代中的中间结果，减少冗余计算，尤其在迭代优化循环中效果显著。
• 通过与蒙特卡洛积分比较验证结果正确性，并在合成测试数据上测量性能表现。

实验结果

研究问题

• RQ1 双目标优化中精确EHVI计算的时间复杂度能否低于O(n³ log n)？
• RQ2 双目标情况下精确EHVI计算的理论时间复杂度下限是多少？
• RQ3 在三个以上目标中，特别是三维空间中，能否实现精确且高效的EHVI计算？
• RQ4 新精确EHVI算法在速度与精度方面与蒙特卡洛方法相比表现如何？
• RQ5 在多个EHVI评估中复用数据结构是否能显著提升整体计算效率？

主要发现

• 所提算法在双目标EHVI计算中实现了O(n²)的时间复杂度，相比先前的O(n³ log n)有显著提升。
• 在三目标优化中，算法实现了O(n³)的时间复杂度，使高维空间中的精确计算成为可能。
• 实验结果表明，即使在n ≈ 20的小规模情况下，新算法也比朴素的O(n³ log n)方法更快。
• 对于三维空间中大小为30的Pareto前沿近似，算法可在2.5秒内完成超过100次EHVI评估。
• 结合数据结构复用的批量评估使计算时间随候选点数量线性减少，显著提升了迭代优化中的实际效率。
• 实现结果经与蒙特卡洛积分对比验证，确认了正确性与精度，且在速度上优于随机方法。