[论文解读] Better together? Statistical learning in models made of modules

Pierre Jacob, Lawrence M. Murray+2 more|arXiv (Cornell University)|Aug 29, 2017

Gaussian Processes and Bayesian Inference参考文献 1被引用 45

一句话总结

本文提出了一种决策理论框架，用于在模型误设的情况下，选择使用完整贝叶斯模型还是模块化方法。通过使用预测评分和重要性抽样，评估是否限制模块之间的反馈能改善推断，表明当组件存在误设时，模块化方法通常优于完整模型。

ABSTRACT

In modern applications, statisticians are faced with integrating heterogeneous data modalities relevant for an inference, prediction, or decision problem. In such circumstances, it is convenient to use a graphical model to represent the statistical dependencies, via a set of connected "modules", each relating to a specific data modality, and drawing on specific domain expertise in their development. In principle, given data, the conventional statistical update then allows for coherent uncertainty quantification and information propagation through and across the modules. However, misspecification of any module can contaminate the estimate and update of others, often in unpredictable ways. In various settings, particularly when certain modules are trusted more than others, practitioners have preferred to avoid learning with the full model in favor of approaches that restrict the information propagation between modules, for example by restricting propagation to only particular directions along the edges of the graph. In this article, we investigate why these modular approaches might be preferable to the full model in misspecified settings. We propose principled criteria to choose between modular and full-model approaches. The question arises in many applied settings, including large stochastic dynamical systems, meta-analysis, epidemiological models, air pollution models, pharmacokinetics-pharmacodynamics, and causal inference with propensity scores.

研究动机与目标

• 解决模块化统计模型中的模型误设问题，其中某一模块的误差会污染其他模块的推断。
• 开发一种系统化、数据驱动的方法，以决定是否使用完整模型或信息流受限的模块化方法。
• 形式化图形模型中互联模块之间不确定性传播与对误设鲁棒性之间的权衡。
• 提供一种计算上可行的方法，利用预测评分和重要性抽样评估模块化推断。
• 将贝叶斯推断扩展到全后验计算不可行的场景，原因在于存在来自误设程度较高的模块的反馈。

提出的方法

• 提出一种基于未来数据的对数边际似然的预测评分，通过从切割分布中抽样来计算，以评估模型性能。
• 使用来自第一模块后验分布的样本作为提议分布，通过重要性抽样近似全后验分布，从而在反馈较弱时实现全后验的近似。
• 引入两阶段推断过程：首先从第一模块的切割分布中抽样，然后利用这些样本通过重要性加权来近似全后验分布。
• 采用数据排序策略计算预测评分，并通过排列平均减少对观测顺序的敏感性。
• 将决策理论标准适配于基于预测准确性和鲁棒性的全模型与模块化模型之间的选择。
• 通过避免对全后验分布直接进行MCMC，而是依赖于第一模块的预抽样分布，来处理不可计算的反馈项。

实验结果

研究问题

• RQ1 在存在模型误设的情况下，何时限制模块间反馈的模块化方法优于完整贝叶斯模型？
• RQ2 如何以系统化、决策理论的方式正式评估和比较模块化与完整模型的预测性能？
• RQ3 在第二模块对第一模块反馈强烈且不可计算的情况下，哪些计算策略能够实现对全后验的准确近似？
• RQ4 如何设计一个框架，基于数据驱动的标准而非先验假设，选择最优的推断策略（模块化或完整）？
• RQ5 在何种场景下，切断模块间的反馈能带来更鲁棒和可靠的不确定性量化？

主要发现

• 当至少一个模块存在误设时，模块化方法（尤其是采用切割反馈的）在预测准确性方面通常优于完整模型的后验分布。
• 基于从切割分布中进行重要性抽样的预测评分，为模型选择提供了一个可靠的准则。
• 该方法在元分析和倾向得分的因果推断等常见模型误设的场景中表现有效。
• 当第二模块对第一模块的反馈较弱时，从第一模块后验分布中进行重要性抽样效果良好；否则，需要反复查询第一模块。
• 通过对数据排列的预测评分进行平均，可降低对观测顺序的敏感性，尽管可能带来计算成本的增加。
• 该框架支持特定场景的适应，如处理不当先验，并可扩展至具有幂似然或部分反馈的模型。