[论文解读] Quantifying Ignorance in Individual-Level Causal-Effect Estimates under Hidden Confounding

Andrew Jesson, Sören Mindermann+2 more|arXiv (Cornell University)|Mar 8, 2021

Advanced Causal Inference Techniques参考文献 39被引用 11

一句话总结

本文提出了一种新型参数化区间估计器，用于条件平均处理效应（CATE），可量化高维观察数据中由于隐藏混杂、相似性不足和重叠性差导致的无知。通过结合贝叶斯深度学习以捕捉认识论不确定性，以及因果敏感性分析以处理未观测到的混杂因素，该方法生成在不确定性增加时自动扩大的稳健CATE区间，从而在高风险领域实现更安全的个性化决策。

ABSTRACT

We study the problem of learning conditional average treatment effects (CATE) from high-dimensional, observational data with unobserved confounders. Unobserved confounders introduce ignorance -- a level of unidentifiability -- about an individual's response to treatment by inducing bias in CATE estimates. We present a new parametric interval estimator suited for high-dimensional data, that estimates a range of possible CATE values when given a predefined bound on the level of hidden confounding. Further, previous interval estimators do not account for ignorance about the CATE associated with samples that may be underrepresented in the original study, or samples that violate the overlap assumption. Our interval estimator also incorporates model uncertainty so that practitioners can be made aware of out-of-distribution data. We prove that our estimator converges to tight bounds on CATE when there may be unobserved confounding, and assess it using semi-synthetic, high-dimensional datasets.

研究动机与目标

• 解决在存在未观测混杂因素的观察数据中估计个体层面因果效应的挑战，此类因素会引入不可识别的偏差。
• 将三种无知来源——相似性不足、重叠性差和隐藏混杂——统一为对CATE估计的单一可量化的度量。
• 开发一种CATE区间估计方法，反映模型误设、数据稀疏性和未观测混杂导致的不确定性。
• 使从业者能够在CATE估计高度不确定时推迟推荐，从而在医疗等高风险应用中提升安全性。
• 确保估计器在不同隐藏混杂水平下保持有效性与紧致性，通过敏感性分析形式化表达。

提出的方法

• 使用贝叶斯深度学习结合蒙特卡洛丢弃和模型集成，估计CATE预测中的认识论不确定性，捕捉由数据稀疏性和重叠性差导致的无知。
• 应用一种参数化区间估计器，整合了来自因果敏感性分析的隐藏混杂强度预定义边界。
• 使用混合密度网络（MDN）建模结果分布，以捕捉异方差性不确定性并支持多模态结果预测。
• 通过具有伯努利似然的独立神经网络估计倾向得分，实现对处理分配不确定性的量化。
• 通过在网络权重上进行蒙特卡洛采样，将结果模型与处理模型的不确定性相结合，生成稳健的CATE区间。
• 采用谱归一化和丢弃技术以稳定训练过程，并在高维设置下提升不确定性校准性能。

实验结果

研究问题

• RQ1 当未观测混杂因素导致估计偏差时，如何量化个体层面CATE估计中的无知？
• RQ2 贝叶斯深度学习与因果敏感性分析在多大程度上能联合捕捉由数据稀疏性、重叠性差和隐藏混杂导致的不确定性？
• RQ3 所提出的区间估计器在隐藏混杂程度增加时，能否产生紧致且有效的CATE边界？
• RQ4 在传统CATE估计器因未观测混杂而失效的高维半合成数据集上，该方法表现如何？
• RQ5 与点估计相比，无知区间在分布外或高风险情况下如何提升决策安全性？

主要发现

• 理论上证明，当隐藏混杂水平在预定义边界内时，所提出的区间估计器能产生有效且紧致的CATE边界。
• 该方法通过贝叶斯深度学习模型中的认识论不确定性，有效捕捉了因相似性不足和重叠性差导致的无知。
• 当数据点违反重叠性假设或偏离训练流形时，无知区间能适当扩大，发出谨慎信号。
• 在包含隐藏混杂的高维半合成数据集（HC-MNIST和IHDP）上，该估计器在覆盖率和不确定性校准方面优于基线方法。
• 通过集成模型和蒙特卡洛采样，确保了稳定的不确定性估计，且随着MC样本数量增加，收敛性得以观察。
• 该方法通过在不确定性较高时推迟推荐，实现了安全决策，尤其在分布外或混杂区域表现突出。