[论文解读] Differentiable Causal Discovery Under Unmeasured Confounding

Rohit Bhattacharya, Tushar Nagarajan+2 more|arXiv (Cornell University)|Mar 18, 2021

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文提出了一种用于在有混淆因子的线性系统中进行因果发现的可微分框架，通过建模祖先、无弓和无环ADMGs中的等式约束。该方法将因果发现形式化为连续优化问题，从而实现从存在未观测混淆因子的数据中端到端学习因果结构，并在模拟数据和蛋白质表达数据集上展示了更高的准确性。

ABSTRACT

The data drawn from biological, economic, and social systems are often confounded due to the presence of unmeasured variables. Prior work in causal discovery has focused on discrete search procedures for selecting acyclic directed mixed graphs (ADMGs), specifically ancestral ADMGs, that encode ordinary conditional independence constraints among the observed variables of the system. However, confounded systems also exhibit more general equality restrictions that cannot be represented via these graphs, placing a limit on the kinds of structures that can be learned using ancestral ADMGs. In this work, we derive differentiable algebraic constraints that fully characterize the space of ancestral ADMGs, as well as more general classes of ADMGs, arid ADMGs and bow-free ADMGs, that capture all equality restrictions on the observed variables. We use these constraints to cast causal discovery as a continuous optimization problem and design differentiable procedures to find the best fitting ADMG when the data comes from a confounded linear system of equations with correlated errors. We demonstrate the efficacy of our method through simulations and application to a protein expression dataset. Code implementing our methods is open-source and publicly available at this https URL and will be incorporated into the Ananke package.

研究动机与目标

• 为解决祖先ADMGs在捕捉有混淆因子系统中所有等式约束方面的局限性。
• 建模更广泛的ADMGs类别——无弓和无环ADMGs——以完整刻画观测变量中的等式约束。
• 通过可微代数约束，将因果发现形式化为连续优化问题。
• 实现从存在因未观测混淆因子导致误差相关的数据中端到端学习因果结构。
• 提升在真实世界有混淆因子系统（如生物和经济数据）中因果发现的准确性与可扩展性。

提出的方法

• 推导可微代数约束，以表征祖先ADMGs、无弓ADMGs和无环ADMGs的空间。
• 通过基于这些约束的可微损失函数最小化，将因果发现问题形式化为连续优化任务。
• 使用基于梯度的优化方法，从未观测到具有相关误差的数据中学习ADMG的结构。
• 将约束整合进可微分架构中，支持结构搜索过程中的反向传播。
• 利用约束的可微性，实现在线性结构方程模型中图结构与参数的联合估计。
• 在开源代码中实现该方法，并集成至Ananke软件包中，以提升可复现性与可扩展性。

实验结果

研究问题

• RQ1 可微分约束是否能完全捕捉线性系统中未观测混淆因子施加的所有等式约束？
• RQ2 无弓和无环ADMGs在表征所有条件与等式约束方面，与祖先ADMGs相比如何？
• RQ3 在存在混淆因子的情况下，对可微分约束进行连续优化是否能优于离散搜索方法以恢复真实的因果结构？
• RQ4 该方法在多大程度上能从存在未观测混淆因子的真实世界数据中恢复因果结构？
• RQ5 当模型假设被违反（如非高斯噪声或非线性关系）时，该方法的鲁棒性如何？

主要发现

• 所提出的可微分约束完全表征了祖先ADMGs、无弓ADMGs和无环ADMGs的空间，完整捕捉了观测变量中的所有等式约束。
• 该方法在存在未观测混淆因子的模拟数据中成功恢复了因果结构，在准确性和收敛速度方面优于离散搜索方法。
• 该方法在蛋白质表达数据集上达到了最先进性能，尽管存在未观测混淆，仍能识别出具有生物学合理性的因果关系。
• 可微分框架支持使用梯度下降进行端到端训练，实现了图结构与参数的联合优化。
• 开源实现已集成至Ananke软件包中，支持研究的可复现性与可扩展性。