[论文解读] A Strategy for Adaptive Sampling of Multi-fidelity Gaussian Process to Reduce Predictive Uncertainty

Sayan Ghosh, Jesper Kristensen+3 more|arXiv (Cornell University)|Jul 26, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 40被引用 4

一句话总结

本文提出了一种用于多保真度高斯过程的新型自适应采样策略，通过联合选择下一个设计点和保真度级别，以最大化单位成本的不确定性减少量。通过引入保真度感知的不确定性-成本比准则，并整合‘Believer’概念以量化预测不确定性减少量，该方法在高保真度成本比率下显著降低了总成本，同时保持或提升了预测精度，优于基线方法。

ABSTRACT

Multi-fidelity Gaussian process is a common approach to address the extensive computationally demanding algorithms such as optimization, calibration and uncertainty quantification. Adaptive sampling for multi-fidelity Gaussian process is a changing task due to the fact that not only we seek to estimate the next sampling location of the design variable, but also the level of the simulator fidelity. This issue is often addressed by including the cost of the simulator as an another factor in the searching criterion in conjunction with the uncertainty reduction metric. In this work, we extent the traditional design of experiment framework for the multi-fidelity Gaussian process by partitioning the prediction uncertainty based on the fidelity level and the associated cost of execution. In addition, we utilize the concept of Believer which quantifies the effect of adding an exploratory design point on the Gaussian process uncertainty prediction. We demonstrated our framework using academic examples as well as a industrial application of steady-state thermodynamic operation point of a fluidized bed process

研究动机与目标

• 解决在代理建模中，如何在多保真度模型之间高效分配有限的计算与实验预算的挑战。
• 克服传统自适应采样方法将保真度选择与设计点选择视为独立决策的局限性。
• 提出统一准则，平衡预测不确定性减少与保真度特定成本，以提高采样效率。
• 引入‘Believer’框架以量化新数据点对不确定性减少的影响，增强多保真度环境下的决策能力。
• 在分析测试案例和流化床热力学建模的实际工业应用中，展示该方法的有效性。

提出的方法

• 提出一种新的自适应采样准则——最大单保真度不确定性-成本比（Max IF-UCR），用于评估每个候选设计点在各保真度级别下的单位成本不确定性减少量。
• 将总预测不确定性划分为可归因于低保真度模型和差异（校正）模型的分量，实现保真度特定的不确定性量化。
• 整合高斯过程文献中的‘Believer’概念，以评估新增数据点对预测不确定性减少的期望值，提升采样决策的信息量。
• 将 Max IF-UCR 扩展为 Max IF-UCR bel，通过结合保真度特定的不确定性减少与 Believer 指标，实现更精确的预测增益估计。
• 采用多保真度高斯过程框架，其中高保真度输出被建模为低保真度预测结果与差异函数的校正。
• 迭代应用所提出的准则：选择 IF-UCR 或 IF-UCR bel 值最高的下一个采样点与保真度级别，然后使用新数据更新代理模型。

实验结果

研究问题

• RQ1 如何通过联合优化设计点与保真度级别的选择，改进多保真度高斯过程中的自适应采样？
• RQ2 引入保真度特定的不确定性分解对采样效率与成本降低有何影响？
• RQ3 与全局不确定性度量相比，‘Believer’度量如何增强多保真度环境下信息性数据点的选择？
• RQ4 在不同保真度成本比率下，所提出的 Max IF-UCR 与 Max IF-UCR bel 准则相较于基线 Max MF-UCR 准则的表现如何？
• RQ5 在实际工程应用中，该方法在保持或提升预测精度的同时，能在多大程度上降低总成本？

主要发现

• 当高保真度与低保真度成本比为 2:1 时，所提出的 Max IF-UCR 与 Max IF-UCR bel 方法相较于基线 Max MF-UCR 的成本优势极小，因成本差异不显著。
• 在更高成本比率（5:1 和 10:1）下，Max IF-UCR 与 Max IF-UCR bel 均显著降低了总成本，且 Max IF-UCR 表现最佳。
• 在高成本比率下，Max IF-UCR bel 变体的收敛性能趋势与 Max IF-UCR 相似，表明 Believer 扩展提升了鲁棒性，同时未牺牲效率。
• 在流化床过程案例中，所有方法的均方根误差（RMSE）收敛至相似范围，表明尽管存在成本差异，预测精度仍得以保持。
• 该方法在 10 次独立运行中表现稳健，初始样本随机选取，证实了在不同起始条件下的一致性能。
• 自适应采样框架成功减少了预测不确定性，且显著降低了高保真度评估次数，尤其在高保真度模拟成本远高于低保真度时表现突出。