[论文解读] BaCaDI: Bayesian Causal Discovery with Unknown Interventions

Alexander Hägele, Jonas Rothfuss+4 more|arXiv (Cornell University)|Jun 3, 2022

Bayesian Modeling and Causal Inference被引用 5

一句话总结

BaCaDI 提出了一种在未知干预条件下的完整贝叶斯因果发现框架，利用可微变分推断联合推断因果结构、干预目标和模型参数。即使在数据有限和模型误设的情况下，其在恢复因果图和干预身份方面也优于现有方法。

ABSTRACT

Inferring causal structures from experimentation is a central task in many domains. For example, in biology, recent advances allow us to obtain single-cell expression data under multiple interventions such as drugs or gene knockouts. However, the targets of the interventions are often uncertain or unknown and the number of observations limited. As a result, standard causal discovery methods can no longer be reliably used. To fill this gap, we propose a Bayesian framework (BaCaDI) for discovering and reasoning about the causal structure that underlies data generated under various unknown experimental or interventional conditions. BaCaDI is fully differentiable, which allows us to infer the complex joint posterior over the intervention targets and the causal structure via efficient gradient-based variational inference. In experiments on synthetic causal discovery tasks and simulated gene-expression data, BaCaDI outperforms related methods in identifying causal structures and intervention targets.

研究动机与目标

• 解决在实验数据中干预目标未知或不确定时的因果结构学习挑战。
• 提供一种原则性的贝叶斯方法，联合建模因果结构、干预目标和因果机制中的认知不确定性。
• 通过因果贝叶斯网络和干预的连续可微表示，实现在高维系统中的可扩展推断。
• 克服现有方法的局限性，这些方法假设干预已知，或在数据稀缺时表现不佳。
• 开发对模型误设具有鲁棒性的框架，尤其适用于生物和基因表达场景。

提出的方法

• BaCaDI 将因果发现建模为一个完全贝叶斯方法下的联合后验推断问题，涉及因果结构、干预目标和模型参数。
• 采用因果贝叶斯网络（CBNs）和干预的连续可微表示，以支持基于梯度的优化。
• 该方法使用基于粒子的变分推断，结合斯皮尔变分梯度下降（SVGD），以近似复杂的联合后验分布。
• 推断过程利用得分函数和核化斯皮尔差异，通过迭代更新粒子位置，使其趋向后验分布的高概率区域。
• 该框架支持端到端的反向传播训练，实现对结构和干预参数的高效优化。
• 它能够同时学习多种实验情境下的数据，从各种未知干预条件下收集的数据中进行联合学习。

实验结果

研究问题

• RQ1 贝叶斯框架能否从有限的干预数据中联合推断出因果结构和未知的干预目标？
• RQ2 干预目标中的认知不确定性如何影响因果结构的恢复？能否被正确量化？
• RQ3 可微的、基于梯度的变分推断能否有效扩展到具有未知干预的高维因果系统？
• RQ4 在模型误设情况下（如具有非线性或复杂依赖关系的基因表达数据），BaCaDI 的表现如何？
• RQ5 在低数据环境下，对结构和干预进行联合推断是否优于顺序或独立的推断方法？

主要发现

• 在合成因果贝叶斯网络上，BaCaDI 显著优于现有方法，即使在数据有限的情况下也能恢复真实的因果结构。
• 与假设干预已知的基线方法相比，该方法在识别未知干预目标方面表现出更优的性能。
• 在使用真实基因表达模拟器的仿真中，BaCaDI 尽管面临强烈的模型误设，仍成功恢复了因果结构。
• 该框架在数据稀缺情况下表现出鲁棒性，保持了高准确性，而其他方法则失效或性能下降。
• 基于粒子的 SVGD 推断实现了高维场景下的可扩展且高效的后验近似。
• 联合贝叶斯推断结合完整的不确定性传播，相比点估计或顺序方法，能提供更可靠和校准的因果估计。