[论文解读] Application of Predictive Model Selection to Coupled Models

Gabriel Terejanu, Todd Oliver+1 more|arXiv (Cornell University)|Jul 5, 2011

Gaussian Processes and Bayesian Inference参考文献 7被引用 5

一句话总结

本文提出了一种用于选择最优耦合物理模型以预测未观测到的感兴趣量（QoI）的预测性贝叶斯模型选择框架，强调预测分布的鲁棒性而非模型的合理性。结果表明，通过纳入模型不确定性，预测性模型选择在缺乏区分性数据时优于传统贝叶斯模型选择，即使真实模型不在假设集中，也能提供更可靠的QoI预测。

ABSTRACT

A predictive Bayesian model selection approach is presented to discriminate coupled models used to predict an unobserved quantity of interest (QoI). The need for accurate predictions arises in a variety of critical applications such as climate, aerospace and defense. A model problem is introduced to study the prediction yielded by the coupling of two physics/sub-components. For each single physics domain, a set of model classes and a set of sensor observations are available. A goal-oriented algorithm using a predictive approach to Bayesian model selection is then used to select the combination of single physics models that best predict the QoI. It is shown that the best coupled model for prediction is the one that provides the most robust predictive distribution for the QoI.

研究动机与目标

• 解决在复杂多物理系统中选择最佳耦合模型以预测未观测到的感兴趣量（QoI）的挑战。
• 克服传统贝叶斯模型选择的局限性，后者忽略模型不确定性，且在数据不足以区分模型时可能选择非鲁棒模型。
• 开发一种面向QoI的模型选择准则，优先选择对QoI具有最鲁棒预测概率密度函数（pdf）的模型。
• 在缺乏信息性观测、无法实现模型区分的情况下，证明预测性模型选择优于标准贝叶斯模型选择。
• 为气候建模、航空航天和核武器库存维护等高风险应用提供决策框架，这些应用中可靠QoI预测至关重要。

提出的方法

• 该方法采用目标导向的贝叶斯框架，基于各耦合模型类在QoI上的预测性能计算其证据。
• 使用基于预测分布的QoI感知证据对耦合模型进行排序，而非仅依赖模型合理性。
• 利用信息论度量（如Kullback-Leibler散度），通过k-最近邻估计器实现高效计算。
• 使用马尔可夫链蒙特卡洛（MCMC）方法从后验分布中抽样并估计预测密度。
• 通过将候选模型的预测pdf与真实QoI进行比较，将模型校准与验证整合到框架中，即使QoI未被观测到亦可实现。
• 在最优实验设计用于模型区分的前提下，建立了预测性模型选择与传统贝叶斯模型选择之间的等价性。

实验结果

研究问题

• RQ1 当QoI无法直接观测且数据有限时，如何选择最佳耦合模型以预测感兴趣量（QoI）？
• RQ2 模型不确定性在预测性模型选择中扮演何种角色？它如何影响QoI预测的鲁棒性？
• RQ3 在哪些场景下，预测性模型选择在预测准确性和可靠性方面优于传统贝叶斯模型选择？
• RQ4 当真实模型不包含在假设集中时，预测性模型选择能否识别出一个鲁棒模型？
• RQ5 QoI感知证据的引入如何提升复杂多物理系统中决策的质量？

主要发现

• 在案例1中，真实模型位于假设集中，预测性与传统贝叶斯模型选择均正确识别出真实模型（OQS-OLD），但预测方法生成的预测pdf更具鲁棒性。
• 在案例2中，强迫模型因数据区分度差而难以区分，传统贝叶斯模型选择选择了OQS-OLD，但其预测pdf未能覆盖真实QoI，而预测选择则选中OQS-SED，其pdf在尾部分布中包含了真实值。
• 在案例3中，振子模型与强迫模型均未包含真实模型，两种选择方法均收敛至OCS-OLD，但所有模型（包括平均模型）对真实QoI的似然值均较低，凸显了在假设不充分时模型选择的局限性。
• 预测性模型选择方法始终能为QoI生成最鲁棒的预测分布，即使模型合理性因数据区分度差而产生误导。
• 研究证实，当必须将模型不确定性纳入选择过程时，预测性模型选择更具优势，尤其在缺乏区分性观测时。
• 结果表明，当可进行额外数据采集时，预测性模型选择在计算上更具优势，因为它可指导最优实验设计以实现模型区分。