[论文解读] Guiding the Sequential Experiments in Autonomous Experimentation Platforms through EI-based Bayesian Optimization and Bayesian Model Averaging

Ahmed Shoyeb Raihan, Imtiaz Ahmed|arXiv (Cornell University)|Feb 26, 2023

Fault Detection and Control Systems被引用 4

一句话总结

本文提出了一种结合贝叶斯模型平均（BMA）的贝叶斯优化框架，以提升自主实验平台（AEPs）中顺序实验选择的性能。通过将基于期望改进（EI）的获取函数与多个预测模型的模型平均相结合，该方法在真实钢材料疲劳强度数据集上降低了不确定性并提高了预测精度，其均方根误差（RMSE）优于传统的单模型贝叶斯优化（BO）。

ABSTRACT

Autonomous Experimentation Platforms (AEPs) are advanced manufacturing platforms that, under intelligent control, can sequentially search the material design space (MDS) and identify parameters with the desired properties. At the heart of the intelligent control of these AEPs is the policy guiding the sequential experiments, which is to choose the location to carry out the next experiment. In such cases, a balance between exploitation and exploration must be achieved. A Bayesian Optimization (BO) framework with Expected Improvement based (EI-based) acquisition function can effectively search the MDS and guide where to conduct the next experiments so that the underlying relationship can be identified with a smaller number of experiments. The traditional BO framework tries to optimize a black box objective function in a sequential manner by relying on a single model. However, this single-model approach does not account for model uncertainty. Bayesian Model Averaging (BMA) addresses this issue by working with multiple models and thus considering the uncertainty in the models. In this work, we first apply the conventional BO algorithm with the most popular EI-based experiment policy in a real-life fatigue dataset for steel to predict the fatigue strength of steel. Afterward, we apply BMA to the same dataset by working with a set of predictive models and compare the performance of BMA with the traditional BO algorithm, which relies on a single model for approximation. We compare the results in terms of RMSE and find that BMA performs better than EI-based BO in the prediction task by considering the model uncertainty in its framework.

研究动机与目标

• 通过减少贝叶斯优化中的模型不确定性，提升自主实验平台（AEPs）中顺序实验选择的性能。
• 在真实材料设计场景中，评估贝叶斯模型平均（BMA）相较于传统基于期望改进（EI）的贝叶斯优化（BO）的性能表现。
• 评估通过BMA整合模型不确定性是否能提升材料性能优化中的预测精度。
• 展示BMA-BO在最小化实验迭代次数的同时，提升真实疲劳强度数据集上预测可靠性的有效性。

提出的方法

• 该研究采用标准的基于期望改进（EI）的贝叶斯优化（BO），使用单一高斯过程（GP）模型，在真实钢材料疲劳数据集上指导顺序实验。
• 通过集成贝叶斯模型平均（BMA），将该BO框架扩展为结合多个GP模型的预测结果，以考虑模型不确定性。
• BMA通过基于模型后验概率的加权平均方式，整合多个模型的预测结果，从而提升对模型误设的鲁棒性。
• BMA-BO框架中的获取函数基于平均模型的预测分布下的期望改进推导得出。
• 该方法通过最大化相对于当前最优观测的期望改进，依次选择下一个实验位置，使用BMA预测的均值和方差。
• 通过测试集上的均方根误差（RMSE）评估性能，并将BMA-BO与采用单一GP模型的标准EI-BO进行对比。

实验结果

研究问题

• RQ1 在基于期望改进的贝叶斯优化中集成贝叶斯模型平均（BMA）是否能提升自主实验中的预测精度？
• RQ2 通过BMA考虑模型不确定性，对材料设计中顺序实验选择的收敛性和鲁棒性有何影响？
• RQ3 BMA-BO能否在保持或提升预测性能的同时，减少实际材料性能数据集上所需的实验次数？
• RQ4 在真实世界钢材料疲劳强度数据集上，BMA-BO与单模型BO在RMSE指标上的表现如何比较？

主要发现

• 与传统的基于单模型的期望改进（EI）贝叶斯优化相比，贝叶斯模型平均（BMA）显著提升了预测精度。
• BMA-BO框架在测试集上取得的均方根误差（RMSE）低于单模型BO方法，表明其泛化能力更强。
• 通过整合多个模型的不确定性，BMA-BO降低了因模型误设导致的不良预测风险。
• 将BMA集成到获取函数中，使得顺序材料发现中的实验选择更加稳健和可靠。