[论文解读] Sense and Sensitivity Analysis: Simple Post-Hoc Analysis of Bias Due to Unobserved Confounding

Victor Veitch, Anisha Zaveri|arXiv (Cornell University)|Mar 3, 2020

Advanced Causal Inference Techniques参考文献 21被引用 17

一句话总结

本文提出Austen图，一种事后敏感性分析工具，通过可视化解释给定偏差所需的未观测混杂因素对处理和结果影响的最小强度，量化未观测混杂引起的偏差。该方法将因果建模与敏感性分析解耦，可与任何机器学习模型结合使用，同时提供直观、可解释的视觉判断，评估对未观测混杂的稳健性。

ABSTRACT

It is a truth universally acknowledged that an observed association without known mechanism must be in want of a causal estimate. However, causal estimation from observational data often relies on the (untestable) assumption of `no unobserved confounding'. Violations of this assumption can induce bias in effect estimates. In principle, such bias could invalidate or reverse the conclusions of a study. However, in some cases, we might hope that the influence of unobserved confounders is weak relative to a `large' estimated effect, so the qualitative conclusions are robust to bias from unobserved confounding. The purpose of this paper is to develop \emph{Austen plots}, a sensitivity analysis tool to aid such judgments by making it easier to reason about potential bias induced by unobserved confounding. We formalize confounding strength in terms of how strongly the confounder influences treatment assignment and outcome. For a target level of bias, an Austen plot shows the minimum values of treatment and outcome influence required to induce that level of bias. Domain experts can then make subjective judgments about whether such strong confounders are plausible. To aid this judgment, the Austen plot additionally displays the estimated influence strength of (groups of) the observed covariates. Austen plots generalize the classic sensitivity analysis approach of Imbens [Imb03]. Critically, Austen plots allow any approach for modeling the observed data and producing the initial estimate. We illustrate the tool by assessing biases for several real causal inference problems, using a variety of machine learning approaches for the initial data analysis. Code is available at https://github.com/anishazaveri/austen_plots

研究动机与目标

• 解决在标准假设不可检验时，评估观察性因果推断中未观测混杂引起的偏差的挑战。
• 开发一种与所用具体模型无关的敏感性分析方法，使其可与现代机器学习方法兼容。
• 提供一种可视化、可解释的工具——Austen图，帮助研究人员判断合理的未观测混杂因素是否可能解释观察到的关联。
• 通过针对未观测混杂的稳健性检验，提升基于观察数据推导出的因果推断的可信度。
• 通过将模型拟合与敏感性分析解耦，促进机器学习在因果推断中的应用。

提出的方法

• Austen图可视化为在处理分配和结果上产生目标偏差水平所需，未观测混杂因素的联合影响的最小强度。
• 该方法以偏拟合系数（partial R-squared）的形式形式化混杂强度：在给定观测协变量条件下，未观测混杂因素对处理的影响的R²，以及在给定处理和观测协变量条件下，对结果的影响的R²。
• 对于给定的偏差水平，该图显示所有能引起该偏差的处理和结果影响（R²值）组合的等高线。
• 该方法基于结果和处理的拟合模型使用插值估计量，使其可应用于任何数据处理流程，包括复杂的机器学习模型。
• 通过计算观测协变量对处理和结果的影响，对它们进行校准，并将它们的影响以点的形式绘制在Austen图上，以提供比较基准。
• 使用自举法置信区间量化影响估计的不确定性，尽管该方法承认计算成本较高且估计效率较低。

实验结果

研究问题

• RQ1 我们能否在不假设完整数据生成过程的参数形式下，对未观测混杂进行敏感性分析？
• RQ2 如何使敏感性分析与因果推断中使用的现代、灵活的机器学习模型兼容？
• RQ3 哪些可视化和定量工具可帮助研究人员判断合理的未观测混杂因素是否可能合理地解释观察到的处理效应？
• RQ4 如何校准观测协变量的影响，以在敏感性图上提供有意义的参考点？
• RQ5 在何种情况下，Austen图可能因合流偏差或遗漏变量效应而产生误导性解释？

主要发现

• Austen图使研究人员能够通过可视化混杂因素影响所需强度，评估观察到的处理效应是否可能由未观测混杂引起。
• 在一项血压研究中，若一个未观测混杂因素的影响与患者年龄的影响相当，则可能引起约2的偏差，与名义上的处理效应匹配。
• 该方法允许使用任何模型对观测数据进行后验敏感性分析，包括贝叶斯加性回归树和逻辑回归，且无需重新估计。
• 观测协变量可映射到Austen图上作为参考点，使研究人员能直观地与假设的未观测混杂因素进行比较。
• 该方法在计算上可行且可扩展至复杂模型，尽管通过自举法进行不确定性量化计算成本较高。
• 该方法强调了当未观测和观测混杂因素相关时（特别是在合流偏差下）解释中的潜在陷阱，并警告避免对观测与未观测影响进行简单比较。