[论文解读] Causal query in observational data with hidden variables

Debo Cheng, Jiuyong Li+4 more|arXiv (Cornell University)|Jan 28, 2020

Bayesian Modeling and Causal Inference参考文献 38被引用 4

一句话总结

本文提出 DICE，一种基于数据的因果查询算法，适用于存在隐变量的观察性数据，利用一项新定理实现对超集调整变量的高效局部搜索，从而确保无偏的因果效应估计。DICE 在准确性和可扩展性方面优于现有方法，在大规模数据集上表现优异，其估计质量达到当前最先进水平，与依赖领域知识的方法相当，而后者在这些数据集上无法运行。

ABSTRACT

This paper discusses the problem of causal query in observational data with hidden variables, with the aim of seeking the change of an outcome when "manipulating" a variable while given a set of plausible confounding variables which affect the manipulated variable and the outcome. Such an "experiment on data" to estimate the causal effect of the manipulated variable is useful for validating an experiment design using historical data or for exploring confounders when studying a new relationship. However, existing data-driven methods for causal effect estimation face some major challenges, including poor scalability with high dimensional data, low estimation accuracy due to heuristics used by the global causal structure learning algorithms, and the assumption of causal sufficiency when hidden variables are inevitable in data. In this paper, we develop a theorem for using local search to find a superset of the adjustment (or confounding) variables for causal effect estimation from observational data under a realistic pretreatment assumption. The theorem ensures that the unbiased estimate of causal effect is included in the set of causal effects estimated by the superset of adjustment variables. Based on the developed theorem, we propose a data-driven algorithm for causal query. Experiments show that the proposed algorithm is faster and produces better causal effect estimation than an existing data-driven causal effect estimation method with hidden variables. The causal effects estimated by the proposed algorithm are as accurate as those by the state-of-the-art methods using domain knowledge.

研究动机与目标

• 解决在混杂变量隐藏或部分观测时，观察性数据中因果效应估计的挑战。
• 开发一种可扩展且准确的方法，用于识别在隐性混杂假设下可实现无偏因果推断的调整集。
• 克服现有数据驱动方法的局限性，包括可扩展性差、因启发式结构学习导致的准确率低，以及对因果充分性的依赖。
• 为决策者提供可靠的因果估计和混杂因子意识，而无需依赖领域专业知识。

提出的方法

• 提出理论基础——一项定理，证明在调整变量的超集上进行局部搜索可保证包含无偏的因果效应估计。
• 采用 PC-Select，一种快速的局部结构学习算法，从存在隐变量的观察性数据中高效识别混杂变量的超集。
• 利用识别出的超集通过回归或其他估计器来估计因果效应，确保在所提定理下的无偏性。
• 将该定理整合进一个数据驱动的流水线（DICE）中，以可扩展的方式结合结构学习与因果效应估计。
• 在框架中融入后门准则和 do-演算原则，通过最大祖先图（MAGs）处理隐变量。
• 使用基准数据集和合成数据验证该方法在 LV-IDA 和基于知识的基线方法上的性能。

实验结果

研究问题

• RQ1 在存在隐性混杂因子的情况下，对调整变量的超集进行局部搜索是否能获得无偏的因果效应估计？
• RQ2 当存在隐变量时，所提出的方法在准确性和效率方面与现有数据驱动因果推断方法（如 LV-IDA）相比如何？
• RQ3 该方法能否实现与依赖领域知识的最先进方法相当的因果效应估计准确度？
• RQ4 当全局结构学习失败时，该方法在数据规模和维度增加时的可扩展性如何，尤其是在大规模场景下？

主要发现

• 在 IHDP、Jobs 和 Twin 数据集上，DICE 的偏差最低，显著低于 LV-IDA，尤其在高维设置下表现更优。
• 在具有 M-偏差的合成数据集中，DICE 保持低偏差，而其他方法性能下降，表明其在违反无混杂假设条件下的鲁棒性。
• DICE 在 10 个基准贝叶斯网络数据集上均于 50 秒内完成，而 LV-IDA 在五个大型贝叶斯网络（如 BARLEY、HAILFINDER、HEPAR II、WIN95、ANDES）上运行两小时仍未返回结果。
• DICE 的因果效应估计精度与使用领域知识的最先进方法相当，尤其在 IHDP 数据集上偏差最小。
• PC-Select（DICE 的核心结构学习器）的运行时间在变量数和样本数增加时均表现出高效扩展性，其速度和可扩展性优于 FCI 和 RFCI。
• DICE 可成功处理高达 200K 条记录的数据集，而其他实现方法在该规模下无法运行或不可行。