[论文解读] Model Criticism for Bayesian Causal Inference

Dustin Tran, Francisco J. R. Ruiz+2 more|arXiv (Cornell University)|Oct 27, 2016

Advanced Causal Inference Techniques参考文献 8被引用 6

一句话总结

本文提出了一种用于贝叶斯因果推断的模型批评框架，通过后验预测检查将诊断检验分解为对处理分配模型和结果模型的独立评估。该方法使研究人员能够在复杂贝叶斯因果模型中检测模型拟合不良的情况，尤其适用于高维或分层设置，实证验证表明其在蟑螂防治和教育电视暴露等真实世界研究中实现了更优的模型选择。

ABSTRACT

The goal of causal inference is to understand the outcome of alternative courses of action. However, all causal inference requires assumptions. Such assumptions can be more influential than in typical tasks for probabilistic modeling, and testing those assumptions is important to assess the validity of causal inference. We develop model criticism for Bayesian causal inference, building on the idea of posterior predictive checks to assess model fit. Our approach involves decomposing the problem, separately criticizing the model of treatment assignments and the model of outcomes. Conditioned on the assumption of unconfoundedness---that the treatments are assigned independently of the potential outcomes---we show how to check any additional modeling assumption. Our approach provides a foundation for diagnosing model-based causal inferences.

研究动机与目标

• 解决在高维或分层设置下复杂贝叶斯因果模型缺乏诊断工具的问题。
• 开发一种系统化的方法，用于评估贝叶斯因果推断中的模型拟合情况，重点关注未受混淆性假设之外的其他假设。
• 提供一种实用的模型批评框架，将处理分配模型与结果模型的诊断分离。
• 通过真实世界观察研究和随机化研究验证该方法，证明其在检测模型拟合不良方面的实用性。
• 通过使研究人员能够在得出结论前识别并修正有缺陷的建模假设，从而支持稳健的因果推断。

提出的方法

• 将模型批评分解为两个独立部分：检查处理分配模型和潜在结果模型。
• 应用后验预测检查（PPCs）来评估模型拟合度，利用观测数据与复制数据之间的预测差异。
• 采用两阶段诊断流程：首先在无混淆性假设下评估分配模型；其次在分配模型的基础上条件性地评估结果模型。
• 使用诸如处理效应均方误差和方差结构等差异度量，以检测结果模型中的拟合不良。
• 结合分层先验和灵活似然函数（如异方差高斯分布）以建模复杂数据结构。
• 通过模拟研究和真实数据应用验证该方法，比较多种模型设定。

实验结果

研究问题

• RQ1 如何系统性地将模型批评应用于贝叶斯因果模型，以检测处理分配模型和结果模型中的拟合不良？
• RQ2 在结果模型中，哪些诊断差异度量最有效，特别是针对方差结构的误设？
• RQ3 后验预测检查能否检测出标准诊断方法可能遗漏的分层或高维贝叶斯因果模型中的缺陷？
• RQ4 该方法在具有复杂数据结构的真实世界观察研究和随机化研究中的表现如何？
• RQ5 该框架在实际因果分析中能在多大程度上改善模型选择和推断的可靠性？

主要发现

• 该方法成功检测出在蟑螂侵扰研究中，假设个体间方差恒定的模型存在误设，正确识别出均值与方差之间的线性关系。
• 在《电报公司》研究中，跨年级共享参数的模型（b和c）因过度简化而未能通过结果检验，而更灵活的模型（a）则通过了检验。
• 分配检验在蟑螂研究中未发现处理分配模型存在拟合不良的证据，支持了所假设分配机制的有效性。
• 后验预测检查显示，对截距或处理效应参数缺乏足够灵活性的模型被拒绝，凸显了模型复杂性的重要性。
• 该框架在观察研究和随机化研究中均有效诊断出模型拟合不良，证明了其广泛适用性。
• 该方法为诊断贝叶斯因果模型提供了一种有原则的、与模型无关的方法，尤其适用于高维或分层设置。