[论文解读] Active Bayesian Causal Inference

Christian Toth, Lars Lorch+5 more|arXiv (Cornell University)|Jun 4, 2022

Bayesian Modeling and Causal Inference被引用 5

一句话总结

该论文提出了一种主动贝叶斯因果推断（ABCI）框架，这是一种完全贝叶斯的主动学习方法，通过序列实验设计联合推断因果模型与目标因果查询。通过使用高斯过程建模非线性加性噪声模型，并利用贝叶斯优化选择能最大化关于查询的信息增益的干预措施，ABCI相较于仅专注于因果发现的基线方法，在数据效率和校准良好的不确定性估计方面表现更优。

ABSTRACT

Causal discovery and causal reasoning are classically treated as separate and consecutive tasks: one first infers the causal graph, and then uses it to estimate causal effects of interventions. However, such a two-stage approach is uneconomical, especially in terms of actively collected interventional data, since the causal query of interest may not require a fully-specified causal model. From a Bayesian perspective, it is also unnatural, since a causal query (e.g., the causal graph or some causal effect) can be viewed as a latent quantity subject to posterior inference -- other unobserved quantities that are not of direct interest (e.g., the full causal model) ought to be marginalized out in this process and contribute to our epistemic uncertainty. In this work, we propose Active Bayesian Causal Inference (ABCI), a fully-Bayesian active learning framework for integrated causal discovery and reasoning, which jointly infers a posterior over causal models and queries of interest. In our approach to ABCI, we focus on the class of causally-sufficient, nonlinear additive noise models, which we model using Gaussian processes. We sequentially design experiments that are maximally informative about our target causal query, collect the corresponding interventional data, and update our beliefs to choose the next experiment. Through simulations, we demonstrate that our approach is more data-efficient than several baselines that only focus on learning the full causal graph. This allows us to accurately learn downstream causal queries from fewer samples while providing well-calibrated uncertainty estimates for the quantities of interest.

研究动机与目标

• 为解决传统两阶段因果发现与推理中因高数据成本而效率低下的问题。
• 通过将因果模型视为隐变量并边缘化无关组件来减少认知不确定性。
• 开发一个统一框架，专门针对下游因果查询优化实验设计，而非完整模型识别。
• 通过聚焦于直接感兴趣的量来优化干预策略，避免对整个因果图的冗余学习，从而提升数据效率。
• 通过完全贝叶斯处理模型后验与查询后验，为因果查询提供校准良好的不确定性估计。

提出的方法

• ABCI 使用高斯过程表示结构方程，建模因果充分的非线性加性噪声模型。
• 通过可微分贝叶斯结构学习（DiBS）实现对 DAG 空间的连续潜在图表示，以支持基于梯度的优化。
• 该框架利用贝叶斯优化选择能最大化关于目标因果查询的期望信息增益的干预措施。
• 通过马尔可夫链蒙特卡洛采样进行因果模型与查询的后验推断，不确定性在整个流程中被完整传播。
• 该方法将实验设计与推断整合为一个循环：选择干预 → 收集数据 → 更新后验 → 重复。
• 目标因果查询被形式化为因果模型的函数，查询后验通过模型后验的边缘化推导得出。

实验结果

研究问题

• RQ1 我们能否设计出针对特定因果查询更高效的数据干预策略，而非学习完整的因果图？
• RQ2 在仅学习与查询相关部分因果模型的情况下，如何保持校准良好的不确定性估计？
• RQ3 将实验设计聚焦于目标查询是否优于那些优先识别完整因果图的基线方法？
• RQ4 模型误设（如线性与非线性模型的差异）对主动因果推断性能有何影响？
• RQ5 贝叶斯优化能否在高维、组合性的图空间中有效指导干预选择？

主要发现

• 在无标度图上，ABCI 显著优于观测和随机基线方法，在因果模型与查询学习中表现出更低的结构汉明距离误差与 Kullback-Leibler 散度。
• 在 Erdős-Rényi 图上，ABCI 的优势减弱，这是由于图识别难度增加所致，表明其对结构复杂度较为敏感。
• 使用线性 GP 核而非非线性核会导致性能显著下降，凸显了正确建模函数形式的重要性。
• 查询特定的效用 $U_{\textsc{cr}}$ 在查询 KLD 上优于其他策略，表明其在下游因果推理中具有更高的数据效率。
• 提升后验估计质量（如增加马尔可夫链蒙特卡洛采样次数或贝叶斯优化评估次数）可增强 ABCI 性能，表明计算投入可带来可扩展性收益。
• ABCI 通过保持因果模型与查询的完整后验分布，提供了校准良好的不确定性估计，避免了点估计偏差。