[论文解读] Benchmark of Bayesian Optimization and Metaheuristics for Control Engineering Tuning Problems with Crash Constraints

David A. Stenger, Dirk Abel|arXiv (Cornell University)|Nov 4, 2022

Advanced Multi-Objective Optimization Algorithms被引用 6

一句话总结

本论文针对带有崩溃约束的控制工程调参问题，对贝叶斯优化（BO）和元启发式算法进行了基准测试——在参数选择不佳时仿真会崩溃。论文提出了一种灵活的虚拟数据点方法，用于在贝叶斯优化中处理崩溃约束，结果表明：当d=2时，模式搜索（PS）在样本效率上表现最佳；当d>2时，贝叶斯自适应直接搜索（BADS）优于其他方法，控制器性能相比随机搜索最高提升16.1%。

ABSTRACT

Controller tuning based on black-box optimization allows to automatically tune performance-critical parameters w.r.t. mostly arbitrary high-level closed-loop control objectives. However, a comprehensive benchmark of different black-box optimizers for control engineering problems has not yet been conducted. Therefore, in this contribution, 11 different versions of Bayesian optimization (BO) are compared with seven metaheuristics and other baselines on a set of ten deterministic simulative single-objective tuning problems in control. Results indicate that deterministic noise, low multimodality, and substantial areas with infeasible parametrizations (crash constraints) characterize control engineering tuning problems. Therefore, a flexible method to handle crash constraints with BO is presented. A resulting increase in sample efficiency is shown in comparison to standard BO. Furthermore, benchmark results indicate that pattern search (PS) performs best on a budget of 25 d objective function evaluations and a problem dimensionality d of d = 2. Bayesian adaptive direct search, a combination of BO and PS, is shown to be most sample efficient for 3 <= d <= 5. Using these optimizers instead of random search increases controller performance by on average 6.6% and up to 16.1%.

研究动机与目标

• 评估11种BO变体和7种元启发式算法在具有崩溃约束的真实控制工程调参问题中的样本效率。
• 刻画控制器调参问题的特征，重点关注确定性噪声、低多重极值性以及不可行区域。
• 开发并验证一种灵活、领域无关的虚拟数据点方法，用于在贝叶斯优化中处理崩溃约束。
• 在有限评估预算（25d次评估）下，识别出最有效的优化器用于实际控制器调参。
• 为未来在多目标或上下文相关贝叶斯优化中的控制应用提供优化器选择指导。

提出的方法

• 基于10个具有盒式约束和崩溃约束的确定性、仿真型、单目标控制调参问题，建立了基准框架。
• 针对崩溃约束处理，提出了一种新颖的虚拟数据点（VDP）方法，该方法通过向高斯过程模型中注入合成的不可行评估结果，无需领域特定知识或额外模型即可实现。
• VDP方法使BO能够从失败的仿真中学习，将失败视为信息性数据点，从而提升鲁棒性和样本效率。
• 对11种BO变体（采用不同核函数、获取函数和超参数设置）与7种元启发式算法（如PS、CMA-ES、PSO、GA、Fmincon、随机搜索、网格搜索）进行了全面比较。
• 在固定预算25d次目标函数评估下评估性能，结果在所有测试案例和维度上进行聚合。
• VDP方法设计为与现有BO扩展（如上下文或约束BO）兼容，支持广泛集成。

实验结果

研究问题

• RQ1 在具有崩溃约束的控制工程调参问题中，不同贝叶斯优化变体与元启发式算法相比表现如何？
• RQ2 真实控制调参问题的目标函数景观的关键特征是什么？例如多重极值性、噪声和不可行区域？
• RQ3 一种领域无关的虚拟数据点方法是否能有效提升贝叶斯优化在崩溃约束下的性能，而无需额外模型或领域知识？
• RQ4 在存在崩溃约束的情况下，哪种优化器在d=2和d>2时具有最高的样本效率？
• RQ5 BO设计的选择（如核函数类型、获取函数或均值函数）如何影响这些真实世界控制问题上的性能？

主要发现

• 对于维度d=2的问题，模式搜索（PS）在25d预算下表现出最高的样本效率，优于所有其他优化器。
• 对于d>2的问题，贝叶斯自适应直接搜索（BADS）——一种BO与PS的混合方法——是最具样本效率的优化器。
• 所提出的虚拟数据点（VDP）方法显著提升了BO在崩溃约束下的性能，使其在d>2时与BADS相当。
• 崩溃约束处理被确定为影响BO性能的最关键因素，标准BO在存在大量不可行区域的问题上会失效。
• 与随机搜索相比，使用推荐优化器（d=2时为PS，d>2时为BADS）可使控制器性能平均提升6.6%，最高提升达16.1%。
• 对于d>2，平方指数（SE）核优于马尔可夫（MA）核；而对于d=2，MA核表现更优，表明性能对问题维度敏感。