[论文解读] A General Stochastic Algorithmic Framework for Minimizing Expensive Black Box Objective Functions Based on Surrogate Models and Sensitivity Analysis

Yilun Wang, Christine A. Shoemaker|arXiv (Cornell University)|Oct 23, 2014

Advanced Multi-Objective Optimization Algorithms参考文献 33被引用 33

一句话总结

本论文提出SO-SA，一种基于代理模型和敏感性分析的随机算法框架，用于最小化计算昂贵的黑箱函数。通过在生成候选点时仅自适应地扰动最敏感的坐标，SO-SA在高维问题中提升了全局收敛性和性能，优于EGO和NOMADm等最先进方法，在基准测试和真实世界的地下水校准问题中表现更优。

ABSTRACT

We are focusing on bound constrained global optimization problems, whose objective functions are computationally expensive black-box functions and have multiple local minima. The recently popular Metric Stochastic Response Surface (MSRS) algorithm proposed by \cite{Regis2007SRBF} based on adaptive or sequential learning based on response surfaces is revisited and further extended for better performance in case of higher dimensional problems. Specifically, we propose a new way to generate the candidate points which the next function evaluation point is picked from according to the metric criteria, based on a new definition of distance, and prove the global convergence of the corresponding. Correspondingly, a more adaptive implementation of MSRS, named "SO-SA", is presented. "SO-SA" is is more likely to perturb those most sensitive coordinates when generating the candidate points, instead of perturbing all coordinates simultaneously. Numerical experiments on both synthetic problems and real problems demonstrate the advantages of our new algorithm, compared with many state of the art alternatives.}

研究动机与目标

• 解决计算昂贵、非凸、无导数的黑箱函数最小化挑战，此类函数存在多个局部极小值。
• 克服现有基于代理模型的方法在高维问题中因全局近似能力差和探索效率低而产生的局限性。
• 通过在候选点生成中引入敏感性分析，提升度量随机响应面（MSRS）算法的效率与收敛性。
• 开发一种更具自适应性和可扩展性的框架，减少对全维扰动的依赖，聚焦于敏感变量以提升搜索效率。
• 在合成测试问题和真实世界的地下水模型校准任务中，相较于最先进方法，展现出更优的性能。

提出的方法

• 提出一种基于扰动坐标数量的新型距离度量，用于定义邻域，当扰动坐标较少时更有利于局部精细化。
• 在候选点生成中引入坐标特定的扰动概率，其中较低概率有利于局部搜索，较高概率则促进全局探索。
• 整合敏感性分析，优先扰动最具影响力的变量，以提升搜索方向的效率。
• 将SO-SA实现为MSRS算法的改进型自适应变体，采用径向基函数（RBF）进行代理建模，并基于度量选择下一次评估点。
• 使用可量化的性能度量 $ Q(A,P) $ 比较不同算法在各类问题上的表现，衡量其相对于最佳已知解的相对偏差。
• 通过最小化昂贵的“思考”时间，在计算开销与函数评估成本之间实现平衡，同时保持高质量的候选点选择。

实验结果

研究问题

• RQ1 如何使基于代理模型的全局优化在传统方法性能下降的高维问题中更加有效？
• RQ2 敏感性分析能否被有效用于指导随机响应面方法中候选点的选择？
• RQ3 与均匀随机扰动相比，自适应的、坐标特定的扰动是否能提升昂贵黑箱优化中的收敛性和解的质量？
• RQ4 在高维测试函数上，SO-SA与EGO、NOMADm、DYCORS及其他最先进算法相比，在性能和效率方面如何？
• RQ5 候选点生成中的计算开销与优化精度和收敛速度提升之间的权衡是什么？

主要发现

• SO-SA在所有测试问题中均达到最低的整体性能度量 $ Q(A) = 0 $，表明其始终能获得最佳或近似最佳解。
• 在Ackley30问题中，SO-SA取得最优目标值-21.55，显著优于EGO（-5.37）和NOMADm（-10.68）。
• 在Rastrigin30问题中，SO-SA达到-26.48，远超EGO（113.32）和SSKm（4.07），展现出在多峰景观中卓越的全局探索能力。
• 在高维Schoen35问题（$ d=35 $）中，SO-SA取得-84.39，为所有算法中的最佳结果，而EGO和NOMADm分别表现欠佳，仅得-8.58和-16.26。
• 尽管计算开销更高（$ 1.2 \times 10^3 $ 秒），SO-SA的性能远超EGO（$ 1.8 \times 10^4 $ 秒，结果最差），表明其计算成本由解的质量提升所合理化。
• 该算法在多种问题中表现出鲁棒性，包括Keane30（$ d=30 $）和TB32（$ d=32 $），即使在高维复杂景观中也能保持强劲性能。