[论文解读] In a Nutshell -- The Sequential Parameter Optimization Toolbox

Thomas Bartz–Beielstein, Martin Zaefferer+1 more|arXiv (Cornell University)|Dec 12, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 10被引用 11

一句话总结

本文介绍了 SPOT，一个用于调优和分析仿真与优化算法的 R 语言顺序参数优化工具箱。它结合了代理建模（例如，Kriging、随机森林）与统计技术，通过迭代的实验设计、敏感性分析和响应面建模来提升算法性能，在球函数和含因子变量的 Branin 函数等基准问题上显著提高了收敛速度与鲁棒性。

ABSTRACT

The performance of optimization algorithms relies crucially on their parameterizations. Finding good parameter settings is called algorithm tuning. The sequential parameter optimization (SPOT) package for R is a toolbox for tuning and understanding simulation and optimization algorithms. Model-based investigations are common approaches in simulation and optimization. Sequential parameter optimization has been developed, because there is a strong need for sound statistical analysis of simulation and optimization algorithms. SPOT includes methods for tuning based on classical regression and analysis of variance techniques; tree-based models such as CART and random forest; Gaussian process models (Kriging), and combinations of different meta-modeling approaches. Using a simple simulated annealing algorithm, we will demonstrate how optimization algorithms can be tuned using SPOT. The underling concepts of the SPOT approach are explained. This includes key techniques such as exploratory fitness landscape analysis and sensititvity analysis. Many examples illustrate how SPOT can be used for understanding the performance of algorithms and gaining insight into algorithm's behavior. Furthermore, we demonstrate how SPOT can be used as an optimizer and how a sophisticated ensemble approach is able to combine several meta models via stacking. This article exemplifies how SPOT can be used for automatic and interactive tuning.

研究动机与目标

• 解决优化算法中参数调优这一关键挑战，因为算法性能在很大程度上依赖于参数设置。
• 提供一个系统化、基于统计的框架，通过基于模型的分析来理解并改进算法行为。
• 通过统一的 R 工具箱，支持对模拟退火等优化元启发式算法的自动与交互式调优。
• 通过集成多种元模型技术和集成策略，支持基于代理模型的优化（SMBO）。
• 促进探索性适应度景观分析与敏感性分析，以深入理解算法性能。

提出的方法

• SPOT 采用三级实验框架：（L1）目标函数，（L2）优化算法（例如，SANN），（L3）使用 SPOT 作为调优器的调优策略。
• 采用序列实验设计，初始阶段使用拉丁超立方采样，并基于代理模型进行自适应采样。
• 核心建模技术包括回归、ANOVA、CART、随机森林、Kriging（高斯过程）以及通过堆叠构建的混合模型。
• 通过重复评估支持噪声目标函数，并利用 OCBA（最优计算预算分配）实现高效采样。
• 集成局部优化器（例如，L-BFGS-B、NLOPT-R）以从全局代理模型中精炼解。
• 通过将因子变量编码为整数并使用专门的模型类型（如 buildKrigingDACE）来支持因子变量。

实验结果

研究问题

• RQ1 代理建模与统计实验设计如何改善元启发式优化算法的调优？
• RQ2 不同元模型技术（例如，Kriging、随机森林）对收敛速度与解质量的影响如何？
• RQ3 目标函数中的噪声如何影响算法调优？有哪些策略可减轻其影响？
• RQ4 通过堆叠实现的集成建模能否提升代理模型在优化中的鲁棒性与准确性？
• RQ5 在顺序参数优化框架中，如何有效建模与优化因子变量？

主要发现

• SPOT 使用 Kriging 和 L-BFGS-B 有效调优了模拟退火算法，在球函数上仅用 100 次函数评估即达到近似最优解（例如，f(x) ≈ 0.041）。
• 通过重复评估与 OCBA，显著降低了噪声影响，在极少函数评估下提升了解的可靠性。
• 基于 Kriging 的模型结合局部优化优于简单模型，在噪声球函数上使用 100 次评估即实现 f(x) ≈ 0.041。
• 在 Branin 函数中，因子变量得到有效处理，SPOT 识别出最优配置 x ≈ (2.62, 2.73, 2)，对应 f(x) ≈ 0.678。
• 在 30 维球函数上，buildGaussianProcess 模型的收敛速度（23.96 vs. 27.12）优于 buildKriging，尽管计算成本更高。
• 微基准测试证实，buildGaussianProcess 显著更慢（2.07s vs. 69.58s）于 buildKriging，凸显了精度与速度之间的权衡。