[论文解读] Large-Scale Differentiable Causal Discovery of Factor Graphs

Romain Lopez, Jan-Christian Hütter+2 more|arXiv (Cornell University)|Jun 15, 2022

Bayesian Modeling and Causal Inference被引用 9

一句话总结

本文提出可微分因果发现因子图（DCD-FG），一种基于因子有向无环图（f-DAG）的大规模因果发现可扩展方法，通过施加低秩、非线性结构方程来实现。通过将可微分优化与因果交互的低秩约束相结合，DCD-FG 实现了对数千个变量的高效因果结构学习，在模拟数据和数百次干预的单细胞 RNA-seq 数据中，性能优于当前最先进方法。

ABSTRACT

A common theme in causal inference is learning causal relationships between observed variables, also known as causal discovery. This is usually a daunting task, given the large number of candidate causal graphs and the combinatorial nature of the search space. Perhaps for this reason, most research has so far focused on relatively small causal graphs, with up to hundreds of nodes. However, recent advances in fields like biology enable generating experimental data sets with thousands of interventions followed by rich profiling of thousands of variables, raising the opportunity and urgent need for large causal graph models. Here, we introduce the notion of factor directed acyclic graphs (f-DAGs) as a way to restrict the search space to non-linear low-rank causal interaction models. Combining this novel structural assumption with recent advances that bridge the gap between causal discovery and continuous optimization, we achieve causal discovery on thousands of variables. Additionally, as a model for the impact of statistical noise on this estimation procedure, we study a model of edge perturbations of the f-DAG skeleton based on random graphs and quantify the effect of such perturbations on the f-DAG rank. This theoretical analysis suggests that the set of candidate f-DAGs is much smaller than the whole DAG space and thus may be more suitable as a search space in the high-dimensional regime where the underlying skeleton is hard to assess. We propose Differentiable Causal Discovery of Factor Graphs (DCD-FG), a scalable implementation of -DAG constrained causal discovery for high-dimensional interventional data. DCD-FG uses a Gaussian non-linear low-rank structural equation model and shows significant improvements compared to state-of-the-art methods in both simulations as well as a recent large-scale single-cell RNA sequencing data set with hundreds of genetic interventions.

研究动机与目标

• 解决高维设置下（数千个变量）因果发现的计算不可行性问题。
• 克服现有方法在节点数超过约 100 个时因无环约束的立方复杂度而扩展性差的局限。
• 开发一种可扩展的、可微分的因果发现框架，利用低秩结构假设以降低搜索空间复杂度。
• 实现从大规模干预数据中准确学习因果结构，特别是在高通量生物应用中。
• 为因子图作为因果发现中可处理且生物上合理的搜索空间提供理论与实证支持。

提出的方法

• 提出因子有向无环图（f-DAG）作为低秩结构约束，其中因果交互通过少量隐变量因子（m ≪ d）中介。
• 使用基于因子的父节点与子节点关系，建立高斯非线性低秩结构方程模型以建模联合分布。
• 通过无环性的连续松弛，将 f-DAG 约束整合进可微分优化框架，支持端到端训练。
• 采用复杂度为 O(md) 的可微分无环性惩罚，相比 O(d³) 方法显著降低计算成本。
• 在优化过程中使用增广拉格朗日法强制执行无环性约束，实现大规模图的可扩展训练。
• 利用带 Leaky ReLU 激活函数和 Xavier 初始化的神经网络，灵活建模基因到因子及因子到基因的关系。

实验结果

研究问题

• RQ1 低秩结构假设（f-DAG）是否能在高维设置下显著缩小可能因果图的搜索空间，同时保持表达能力？
• RQ2 在大规模干预数据上，DCD-FG 的可微分优化框架相较于最先进方法，在结构准确性方面表现如何？
• RQ3 DCD-FG 对统计噪声和模型误设（如非高斯噪声或观测数据）的鲁棒性如何？
• RQ4 在实践中，秩超参数（m）的选择如何影响 DCD-FG 的性能与泛化能力？
• RQ5 f-DAG 是否能有效建模真实世界生物系统，如单细胞 RNA-seq 数据中的基因调控网络？

主要发现

• 在最多 1000 个变量的合成数据上，DCD-FG 在 F1 分数与结构准确性方面显著优于 NOTEARS、NOTEARS-LR 和 NOBEARS，达到最先进性能。
• 在包含 300 次遗传干预和约 1000 个基因的大规模单细胞 RNA-seq 数据集中，DCD-FG 使用 m=20 个隐因子成功推断出包含 196,303 条边的因果图，证明其在真实生物数据中的可扩展性。
• 该方法对模型误设表现出强鲁棒性：在均匀噪声下性能仅轻微下降，且方法间的相对排名保持不变。
• DCD-FG 在观测数据（无干预）下仍保持高性能，尽管准确率有所下降，表明其在干预与观测两种场景下均具实用性。
• 验证似然度与下游性能高度相关，支持使用保留数据似然度进行超参数选择，包括秩 m。
• 理论分析表明，候选 f-DAG 集合的规模远小于完整 DAG 空间，尤其在边扰动下，支持将 f-DAG 作为高维设置下的可处理搜索空间。