[论文解读] Investigating Bayesian optimization for expensive-to-evaluate black box functions: Application in fluid dynamics

Mike Diessner, O'Connor, Joseph+5 more|arXiv (Cornell University)|Jul 19, 2022

Machine Learning and Data Classification被引用 4

一句话总结

本文评估了在计算流体动力学（CFD）中昂贵的黑箱函数的贝叶斯优化（BO），比较了不同采集函数、采样方法以及单点与多点优化。结果表明，基于蒙特卡洛的和采用上限置信区间（UCB）采集函数的批量BO能够实现高效且可并行化的优化，在真实CFD问题中仅用不到40次评估即实现了显著的阻力降低和净能效提升，相关方法基于NUBO框架实现。

ABSTRACT

Bayesian optimization provides an effective method to optimize expensive-to-evaluate black box functions. It has been widely applied to problems in many fields, including notably in computer science, e.g. in machine learning to optimize hyperparameters of neural networks, and in engineering, e.g. in fluid dynamics to optimize control strategies that maximize drag reduction. This paper empirically studies and compares the performance and the robustness of common Bayesian optimization algorithms on a range of synthetic test functions to provide general guidance on the design of Bayesian optimization algorithms for specific problems. It investigates the choice of acquisition function, the effect of different numbers of training samples, the exact and Monte Carlo based calculation of acquisition functions, and both single-point and multi-point optimization. The test functions considered cover a wide selection of challenges and therefore serve as an ideal test bed to understand the performance of Bayesian optimization to specific challenges, and in general. To illustrate how these findings can be used to inform a Bayesian optimization setup tailored to a specific problem, two simulations in the area of computational fluid dynamics are optimized, giving evidence that suitable solutions can be found in a small number of evaluations of the objective function for complex, real problems. The results of our investigation can similarly be applied to other areas, such as machine learning and physical experiments, where objective functions are expensive to evaluate and their mathematical expressions are unknown.

研究动机与目标

• 评估并比较常见贝叶斯优化算法在代表工程与机器学习挑战的合成测试函数上的性能与鲁棒性。
• 通过分析采集函数、训练样本数量、解析与蒙特卡洛采集函数计算方式，以及单点与多点优化，为特定问题的BO设置设计提供指导。
• 展示BO在真实世界计算流体动力学（CFD）模拟中，针对昂贵目标函数的实际适用性。
• 提供证据表明，对于复杂的真实问题（如阻力降低与净能效提升），仅通过少量评估即可找到有效解。
• 为其他领域（如超参数调优与物理实验）中BO的应用提供建议，这些领域同样面临函数评估成本高且未知的问题。

提出的方法

• 在复杂度逐步增加的合成测试函数上，对多种采集函数（期望改进（EI）、改进概率（PI）、上限置信区间（UCB）、熵搜索（ES）、预测熵搜索（PES）、最大值熵搜索（MES））进行实证基准测试。
• 比较了用于计算采集函数的解析方法与蒙特卡洛采样方法，评估其在精度与计算成本之间的权衡。
• 评估了初始训练样本点数量（从5到20）对不同采集函数优化性能的影响。
• 对比了单点与多点（批量）优化策略，特别关注并行评估效率。
• 将表现最佳的BO配置应用于两个新颖的CFD模拟：一个用于平板全局阻力降低，另一个用于同时实现阻力降低与分离吹气区域的净能效提升。
• 使用纽卡斯尔大学贝叶斯优化（NUBO）框架，在高计算成本的真实CFD模拟中实现并测试BO流程。

实验结果

研究问题

• RQ1 在具有振荡、陡峭边缘或平坦区域的多样化合成测试函数中，哪种采集函数表现最佳？
• RQ2 初始训练样本数量如何影响贝叶斯优化的收敛性与鲁棒性？
• RQ3 在精度与可扩展性方面，解析方法与基于蒙特卡洛的采集函数计算之间存在何种权衡？
• RQ4 在何种场景下，多点（批量）贝叶斯优化优于单点优化，特别是在并行化与评估效率方面？
• RQ5 贝叶斯优化能否在仅进行少量函数评估的情况下，实现在真实CFD模拟中的显著改进？

主要发现

• 具有乐观性质的策略，如上限置信区间（UCB）及其批量变体（BUCB），在具有振荡与陡峭梯度的复杂挑战性测试函数上优于其他采集函数。
• 所测试的BO算法性能不受初始训练样本数量的显著影响，表明其在不同初始化规模下均具有鲁棒性。
• 基于改进的采集函数（如期望改进（EI））在平坦测试函数上表现不佳，因无法有效探索。
• 基于蒙特卡洛的采集函数与多点（批量）优化为解析单点方法提供了强有力的替代方案，尤其在可并行评估时。
• 当函数评估耗时时，多点方法尤为有效，可实现并行模拟运行，从而显著减少总优化时间。
• 贝叶斯优化在真实CFD模拟中成功实现了高达60%的全局阻力降低与净能效提升，且仅使用了少于40次目标函数评估，充分展示了其强大的实际适用性。