[论文解读] Causal Inference with Noisy and Missing Covariates via Matrix Factorization

Nathan Kallus, Xiaojie Mao+1 more|arXiv (Cornell University)|Jun 3, 2018

Advanced Causal Inference Techniques参考文献 31被引用 25

一句话总结

本文提出使用矩阵分解从观测研究中噪声大、缺失且异质的协变量中推断潜在混杂因素，显著降低了因果效应估计中的偏差。该方法在多种因果推断技术中均提升了准确性，并在使用指数族矩阵补全的线性模型中表现出一致性，优于标准插补和直接估计方法，在合成数据和临床双胞胎数据上表现更优。

ABSTRACT

Valid causal inference in observational studies often requires controlling for confounders. However, in practice measurements of confounders may be noisy, and can lead to biased estimates of causal effects. We show that we can reduce the bias caused by measurement noise using a large number of noisy measurements of the underlying confounders. We propose the use of matrix factorization to infer the confounders from noisy covariates, a flexible and principled framework that adapts to missing values, accommodates a wide variety of data types, and can augment many causal inference methods. We bound the error for the induced average treatment effect estimator and show it is consistent in a linear regression setting, using Exponential Family Matrix Completion preprocessing. We demonstrate the effectiveness of the proposed procedure in numerical experiments with both synthetic data and real clinical data.

研究动机与目标

• 解决因混杂变量测量噪声和缺失数据导致的因果推断偏差问题。
• 开发一种灵活且有理论依据的预处理框架，从大量噪声大且不完整的协变量中推断潜在混杂因素。
• 确保与多种因果推断方法的兼容性，包括回归、匹配和加权技术。
• 在线性模型设定下，理论上建立使用矩阵分解预处理的平均处理效应（ATE）估计器的一致性。
• 通过实证验证该方法在合成数据和真实临床数据上的鲁棒性及相对于标准插补和直接因果估计的优越性。

提出的方法

• 对部分观测到的、含噪声的协变量矩阵应用矩阵分解，以恢复低秩的潜在混杂因素表示。
• 该方法使用指数族矩阵补全处理异质数据类型（连续型、分类型、有序型），并采用适当的损失函数。
• 通过优化低秩矩阵逼近并结合核范数正则化来估计潜在混杂因素，以促进泛化能力。
• 推断出的混杂因素随后作为输入，用于标准因果推断方法，如回归校正、倾向得分重加权和匹配。
• 在矩阵分解步骤中直接处理缺失值，无需预先插补，从而保持混杂因素估计的完整性。
• 该方法具有模块化特性，可无缝集成到现有因果推断工具包中，实现即插即用。

实验结果

研究问题

• RQ1 大量噪声代理变量是否能减少未观测混杂因素导致的因果效应估计偏差？
• RQ2 在存在测量误差和缺失数据的情况下，矩阵分解预处理是否能提升平均处理效应（ATE）估计器的一致性和准确性？
• RQ3 与标准插补方法（如众数插补、多重插补）相比，矩阵分解在因果效应估计准确性方面表现如何？
• RQ4 矩阵分解能否有效与线性回归以外的多种因果推断技术结合使用？
• RQ5 当使用矩阵分解恢复潜在混杂因素时，ATE估计器的理论收敛速率是多少？

主要发现

• 通过从噪声大、缺失且异质的协变量中准确恢复潜在混杂因素，矩阵分解预处理显著降低了ATE估计的偏差。
• 在使用指数族矩阵补全进行预处理的线性回归设定下，由矩阵分解诱导的ATE估计器具有一致性。
• 在合成数据集上，矩阵分解优于所有基线方法，包括多重插补和众数插补，尤其在高缺失率和高噪声条件下表现更优。
• 在真实临床双胞胎数据集上，矩阵分解预处理在所有测试的因果推断方法（逻辑回归、匹配、双重稳健估计器）中，均持续优于直接因果估计和标准插补方法。
• 该方法在缺失数据率高达30%时表现出鲁棒性，性能优于临时插补方法和使用五次插补的最先进的多重插补（MICE）方法。
• 即使在噪声机制违反矩阵分解文献中标准i.i.d.噪声假设的情况下，该方法仍能实现准确的因果效应估计。