[论文解读] Multi-Source Causal Inference Using Control Variates

Wenshuo Guo, Serena Wang+3 more|arXiv (Cornell University)|Mar 30, 2021

Advanced Causal Inference Techniques参考文献 37被引用 4

一句话总结

本文提出了一种多源因果推断框架，通过利用控制变量在仅部分数据源中可识别因果效应时降低平均处理效应（ATE）估计的方差。通过利用不同优势比估计值的差异，从存在选择偏差的数据集中构建控制变量，该方法在模拟和真实世界案例研究中均显著降低了方差，提升了估计效率，且在大样本中不会引入偏差。

ABSTRACT

While many areas of machine learning have benefited from the increasing availability of large and varied datasets, the benefit to causal inference has been limited given the strong assumptions needed to ensure identifiability of causal effects; these are often not satisfied in real-world datasets. For example, many large observational datasets (e.g., case-control studies in epidemiology, click-through data in recommender systems) suffer from selection bias on the outcome, which makes the average treatment effect (ATE) unidentifiable. We propose a general algorithm to estimate causal effects from \emph{multiple} data sources, where the ATE may be identifiable only in some datasets but not others. The key idea is to construct control variates using the datasets in which the ATE is not identifiable. We show theoretically that this reduces the variance of the ATE estimate. We apply this framework to inference from observational data under outcome selection bias, assuming access to an auxiliary small dataset from which we can obtain a consistent estimate of the ATE. We construct a control variate by taking the difference of the odds ratio estimates from the two datasets. Across simulations and two case studies with real data, we show that this control variate can significantly reduce the variance of the ATE estimate.

研究动机与目标

• 解决在大型数据集中因选择偏差导致平均处理效应（ATE）无法识别的观察性数据中因果效应估计的挑战。
• 开发一种通用框架，整合多个数据源——其中一些源可识别 ATE，另一些则不能——以提高估计效率。
• 通过从 ATE 无法识别的数据集中构建控制变量，利用跨源的稳健、可迁移特征，降低 ATE 估计器的方差。
• 在存在结果选择偏差的真实世界场景（如病例对照研究和推荐系统）中，证明该方法的有效性。
• 为通过控制变量构建实现的方差降低提供理论依据，确保估计器的效率。

提出的方法

• 通过大样本偏差数据集与小样本无偏数据集的胜利率估计值之差，构建控制变量。
• 利用小样本数据集获得一致的 ATE 估计，同时利用大样本数据集提供辅助信息以降低方差。
• 使用带交互项的逻辑回归或具有可变系数的神经网络来建模结果并估计条件胜利率。
• 将控制变量定义为跨数据集胜利率估计值差异的函数，用于调整 ATE 估计器。
• 通过控制变量调整优化 ATE 估计器，以降低均方误差，尤其在有限样本中表现更优。
• 使用合成数据和两个真实世界案例研究（流感疫苗鼓励和垃圾邮件检测）验证该方法。

实验结果

研究问题

• RQ1 能否通过结合一个小样本无偏数据集，提升在存在结果选择偏差的观察性数据中 ATE 估计的效率？
• RQ2 如何通过从有偏数据集中构建的控制变量，在不引入偏差的前提下降低 ATE 估计器的方差？
• RQ3 当使用来自多个数据源的胜利率差异推导出的控制变量时，理论上的方差减少收益是多少？
• RQ4 当控制变量引入轻微偏差时，该方法在高维协变量的有限样本中的表现如何？
• RQ5 所提出的框架能否推广到不同的结果模型，包括逻辑回归和神经网络？

主要发现

• 控制变量方法在多种模拟设置和真实数据案例研究中显著降低了 ATE 估计器的方差。
• 在流感疫苗案例研究中，与基线估计器相比，控制变量将方差降低了高达 40%，且偏差增加可忽略。
• 在垃圾邮件检测案例研究中，当小样本数据集规模为 10,000 时，控制变量使方差降低超过 50%，尽管在有限样本中偏差有所增加。
• 即使控制变量引入了少量偏差，该方法在高维设置中仍实现了显著的方差降低。
• 理论分析证实控制变量可降低方差，实证结果也验证了该收益在包括逻辑回归和神经网络在内的多种估计方法中的一致性。
• 通过胜利率差异构建控制变量的方法表现出稳健性和有效性，尤其当小样本数据集能为 ATE 估计提供一致基线时。