[论文解读] aphBO-2GP-3B: A budgeted asynchronously-parallel multi-acquisition for known/unknown constrained Bayesian optimization on high-performing computing architecture.

Anh Tran, Scott McCann+4 more|arXiv (Cornell University)|Mar 20, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 97被引用 9

一句话总结

该论文提出了一种名为 aphBO-2GP-3B 的异步、有预算限制的多采集函数贝叶斯优化框架，专为高性能计算（HPC）平台设计，可加速昂贵的基于仿真优化的收敛过程。该方法通过改进的 GP-Hedge 方案，在多个采集函数上动态演化概率质量分布，支持已知和未知约束，并在每次评估后立即重新分配空闲资源，显著提升了 HPC 集群上的运行时效率。

ABSTRACT

High-fidelity complex engineering simulations are highly predictive, but also computationally expensive and often require substantial computational efforts. The mitigation of computational burden is usually enabled through parallelism in high-performance cluster (HPC) architecture. In this paper, an asynchronous constrained batch-parallel Bayesian optimization method is proposed to efficiently solve the computationally-expensive simulation-based optimization problems on the HPC platform, with a budgeted computational resource, where the maximum number of simulations is a constant. The advantages of this method are three-fold. First, the efficiency of the Bayesian optimization is improved, where multiple input locations are evaluated massively parallel in an asynchronous manner to accelerate the optimization convergence with respect to physical runtime. This efficiency feature is further improved so that when each of the inputs is finished, another input is queried without waiting for the whole batch to complete. Second, the method can handle both known and unknown constraints. Third, the proposed method considers several acquisition functions at the same time and sample based on an evolving probability mass distribution function using a modified GP-Hedge scheme, where parameters are corresponding to the performance of each acquisition function. The proposed framework is termed aphBO-2GP-3B, which corresponds to asynchronous parallel hedge Bayesian optimization with two Gaussian processes and three batches. The aphBO-2GP-3B framework is demonstrated using two high-fidelity expensive industrial applications, where the first one is based on finite element analysis (FEA) and the second one is based on computational fluid dynamics (CFD) simulations.

研究动机与目标

• 解决高保真工程仿真（如有限元分析（FEA）和计算流体动力学（CFD））带来的高计算成本问题，这些问题限制了实际优化的可行性。
• 通过在 HPC 系统上实现多个输入的异步评估，克服贝叶斯优化中同步批量处理的低效性。
• 开发一种方法，高效处理仿真优化中的已知和未知约束，提升实际工程应用中的鲁棒性。
• 在固定仿真预算下，通过在每次评估后动态重新分配空闲资源，最大化计算资源利用率，减少空闲时间并加速收敛。
• 通过改进的 GP-Hedge 方案集成多个采集函数，自适应地加权性能，以提升优化效率和收敛速度。

提出的方法

• 该框架采用两个高斯过程：一个用于建模目标函数，另一个用于建模约束函数，从而在不确定性下实现联合优化。
• 采用改进的 GP-Hedge 方案，在多个采集函数上维持一个动态演化的概率质量分布，权重根据各函数的观测性能进行更新。
• 该方法支持异步并行评估：只要批量中的任意输入完成，系统便会立即查询新输入，消除空闲时间，提升资源利用率。
• 系统在固定仿真次数预算下运行，总评估次数受到上限控制，确保计算效率和成本控制。
• 采集函数的选择是自适应且数据驱动的，使框架能够在优化过程中动态偏好表现优异的采集函数。
• 该框架专为 HPC 环境设计，利用消息传递和任务级并行机制，实现跨分布式计算节点的可扩展性。

实验结果

研究问题

• RQ1 在 HPC 平台上应用于高保真仿真时，如何使贝叶斯优化在物理运行时间上更加高效？
• RQ2 异步并行处理在不增加计算预算的前提下，能在多大程度上提升仿真优化中的收敛速度？
• RQ3 具有自适应加权的多采集函数框架是否能优于单采集函数策略，在处理复杂、受限的仿真问题时表现更优？
• RQ4 所提出的方法在实际工程优化任务中，对已知和未知约束的处理效率如何？
• RQ5 在固定仿真预算下，动态资源重新分配对整体优化效率有何影响？

主要发现

• 与同步处理和单采集函数基线相比，aphBO-2GP-3B 框架通过立即重用空闲计算资源，在物理运行时间上实现了更快的收敛速度。
• 通过改进的 GP-Hedge 方案集成多个采集函数，使优化性能得到提升，因为在搜索过程中能自适应地偏好表现优异的策略。
• 该方法能有效处理已知和未知约束，在 FEA 和 CFD 等复杂仿真环境中表现出良好的鲁棒性。
• 通过在每次评估后动态重新分配输入，该框架显著减少了空闲时间，提升了 HPC 集群上的资源利用率，即使在严格的仿真预算下亦是如此。
• 该框架在两个工业规模的仿真问题（FEA 和 CFD）上得到验证，展示了其在实际工程优化任务中的实用性与可扩展性。