[论文解读] Jointly Robust Prior for Gaussian Stochastic Process in Emulation, Calibration and Variable Selection

Mengyang Gu|arXiv (Cornell University)|Apr 25, 2018

Probabilistic and Robust Engineering Design参考文献 24被引用 4

一句话总结

本文提出了一种用于高斯随机过程（GaSP）不确定性量化中的联合鲁棒（JR）先验，实现了稳健的代理建模、校准和变量选择。JR先验确保了后验众数估计的稳定性，能自动识别冗余输入，并在预测精度和可信区间覆盖度方面优于参考先验，同时计算效率更高。

ABSTRACT

Gaussian stochastic process (GaSP) has been widely used in two fundamental problems in uncertainty quantification, namely the emulation and calibration of mathematical models. Some objective priors, such as the reference prior, are studied in the context of emulating (approximating) computationally expensive mathematical models. In this work, we introduce a new class of priors, called the jointly robust prior, for both the emulation and calibration. This prior is designed to maintain various advantages from the reference prior. In emulation, the jointly robust prior has an appropriate tail decay rate as the reference prior, and is computationally simpler than the reference prior in parameter estimation. Moreover, the marginal posterior mode estimation with the jointly robust prior can separate the influential and inert inputs in mathematical models, while the reference prior does not have this property. We establish the posterior propriety for a large class of priors in calibration, including the reference prior and jointly robust prior in general scenarios, but the jointly robust prior is preferred because the calibrated mathematical model typically predicts the reality well. The jointly robust prior is used as the default prior in two new R packages, called "RobustGaSP" and "RobustCalibration", available on CRAN for emulation and calibration, respectively.

研究动机与目标

• 解决小样本情况下代理建模与校准中GaSP参数估计的不稳定性问题。
• 开发一种先验，确保后验众数估计的鲁棒性，同时实现冗余输入的自动识别。
• 通过避免不确定性量化中的过度自信，提升校准中的预测准确性和可信区间覆盖度。
• 提供一种计算效率更高的参考先验替代方案，性能相当或更优。
• 在校准中为一大类先验（包括JR先验）建立后验合理性。

提出的方法

• 提出联合鲁棒（JR）先验作为GaSP在代理建模与校准中的一类新型客观先验。
• 采用具有独立范围参数γₗ的乘积相关结构，并通过特定参数化方式确保鲁棒性。
• 在JR先验下采用边际后验众数估计，以同时实现稳定估计与变量选择。
• 推导闭式导数以实现高效优化，从而提升计算速度，优于参考先验。
• 将JR先验应用于校准中的代理模型与偏差函数建模，提升参数可辨识性。
• 通过模拟示例与真实案例研究验证方法，与参考先验及MLE进行比较。

实验结果

研究问题

• RQ1 能否设计一种新型客观先验，以确保基于GaSP的代理建模与校准中后验众数估计的鲁棒性？
• RQ2 JR先验是否能在不增加额外计算成本的情况下，自动识别冗余输入？
• RQ3 与参考先验相比，JR先延在预测准确性和不确定性校准方面表现如何？
• RQ4 在小样本情况下，JR先验能否提升校准中的参数可辨识性？
• RQ5 与参考先验及MLE相比，JR先验的计算效率如何？

主要发现

• JR先验在预测性能上与参考先验相当或更优，校准模型与偏差函数的NRMSE分别为0.21，而参考先验为0.28。
• JR先验生成的95%后验可信区间覆盖了约98%的保留数据点，表明不确定性量化校准良好。
• 参考先验表现出过度自信，其95%可信区间的覆盖度仅为88%，这是由于均值参数后验方差被高估所致。
• 由于具备闭式导数，JR先验的计算速度优于参考先验，从而实现高效优化。
• 在JR先验下，边际后验众数能成功识别冗余输入，而参考先验无法一致提供此能力。
• JR先延在一般场景下确保了校准中的后验合理性，支持有效的贝叶斯推断。