[论文解读] An extensive numerical benchmark study of deterministic vs. stochastic derivative-free global optimization algorithms

Linas Stripinis, Remigijus Paulavičius|arXiv (Cornell University)|Sep 13, 2022

Advanced Optimization Algorithms Research被引用 5

一句话总结

本文在来自GKLS和DIRECTGOLib v1.2的1,197个测试问题上，对64种无导数全局优化算法（包括64种确定性和随机算法）进行了大规模基准测试。结果表明，在低维和GKLS类型问题上，确定性DIRECT型算法优于随机算法；而在高维场景下，尤其在函数评估预算有限时，如AVOA等随机求解器表现更优。

ABSTRACT

Research in derivative-free global optimization is under active development, and many solution techniques are available today. Therefore, the experimental comparison of previous and emerging algorithms must be kept up to date. This paper considers the solution to the bound-constrained, possibly black-box global optimization problem. It compares 64 derivative-free deterministic algorithms against classic and state-of-the-art stochastic solvers. Among deterministic ones, a particular emphasis is on DIRECT-type, where, in recent years, significant progress has been made. A set of 800 test problems generated by the well-known GKLS generator and 397 traditional test problems from DIRECTGOLib v1.2 collection are utilized in a computational study. More than 239400 solver runs were carried out, requiring more than 531 days of single CPU time to complete them. It has been found that deterministic algorithms perform excellently on GKLS-type and low-dimensional problems, while stochastic algorithms have shown to be more efficient in higher dimensions.

研究动机与目标

• 提供对当前最先进的确定性和随机无导数全局优化算法的全面、最新比较。
• 在多样且具有挑战性的测试问题上评估算法性能，包括合成问题（GKLS）和传统问题（DIRECTGOLib v1.2）基准。
• 评估函数评估预算和问题维度对算法有效性的影响。
• 研究确定性求解器的混合与非混合变体（尤其是DIRECT型算法）的性能差异。
• 根据问题特征（如维度和结构）为实践者提供选择最优求解器的指导。

提出的方法

• 使用800个GKLS生成的测试问题和397个来自DIRECTGOLib v1.2的传统问题，共1,197个问题。
• 在多个函数评估预算下执行超过239,400次求解器运行：$M_{\text{max}} = 2,500$ 和 $M_{\text{max}} = 500,000$。
• 在标准化计算框架下评估64种求解器，包括34种确定性（特别是DIRECT型）和30种随机（如AVOA、SCSO、BESO、CA），使用统一的性能指标。
• 基于收敛至全局最优解和函数评估效率的性能指标，对所有测试问题的性能结果进行聚合分析。
• 使用DIRECTGOLib v1.2代码库作为公开可获取、可扩展的测试套件，采用MIT许可，确保可复现性与社区贡献。
• 将混合版本（如OQNLP*、MCS*）与标准版本进行比较，以评估混合化对性能的影响。

实验结果

研究问题

• RQ1 在低维和高维问题中，确定性与随机无导数优化算法的性能如何比较？
• RQ2 在高函数评估预算下，哪些算法在GKLS测试集上表现最佳？
• RQ3 与非混合版本相比，混合化变体对确定性DIRECT型求解器的性能有何影响？
• RQ4 在高维问题上，AVOA和SCSO等随机求解器相对于确定性方法的相对效率如何？
• RQ5 算法排名在多大程度上依赖于问题维度和函数评估预算？

主要发现

• 在低维和GKLS类型问题上，特别是当$M_{\text{max}} = 500,000$时，确定性DIRECT型算法（尤其是BIRMIN*和Gb-BIRECT）优于所有其他算法。
• 当$M_{\text{max}} = 2,500$时，AVOA、SCSO、BESO和CA等随机求解器在高维问题上表现最佳，显示出更强的可扩展性。
• 尽管在高维场景中表现最佳，AVOA在完整基准测试中总体排名第10位，凸显了GKLS问题对整体排名的显著影响。
• 与非混合版本相比，混合化确定性求解器（如OQNLP*、MCS*、MSNLP*、BIRMIN*）表现更差，即使在$M_{\text{max}} = 500,000$时也是如此，表明混合化可能损害全局搜索效率。
• 算法性能高度依赖于具体问题：没有单一算法在所有测试问题上占优，且排名在维度和函数类型之间存在显著差异。
• 本研究证实，DIRECT型求解器在低维场景下极为高效，但随着维度增加，其效率迅速下降，与已知的理论局限性一致。