[论文解读] Causal normalizing flows: from theory to practice

Adrián Javaloy, Pablo Sánchez‐Martín+1 more|arXiv (Cornell University)|Jun 8, 2023

Topic Modeling被引用 4

一句话总结

本文提出因果归一化流（Causal NFs），一种深度生成模型，利用自回归归一化流从观测数据中通过因果排序识别并估计结构因果模型。该模型通过实现 do-算子，支持精确的干预与反事实推理，在混合离散-连续数据和部分因果图上表现优异，优于现有单DNN方法在因果推断任务中的表现。

ABSTRACT

In this work, we deepen on the use of normalizing flows for causal reasoning. Specifically, we first leverage recent results on non-linear ICA to show that causal models are identifiable from observational data given a causal ordering, and thus can be recovered using autoregressive normalizing flows (NFs). Second, we analyze different design and learning choices for causal normalizing flows to capture the underlying causal data-generating process. Third, we describe how to implement the do-operator in causal NFs, and thus, how to answer interventional and counterfactual questions. Finally, in our experiments, we validate our design and training choices through a comprehensive ablation study; compare causal NFs to other approaches for approximating causal models; and empirically demonstrate that causal NFs can be used to address real-world problems, where the presence of mixed discrete-continuous data and partial knowledge on the causal graph is the norm. The code for this work can be found at https://github.com/psanch21/causal-flows.

研究动机与目标

• 开发一种深度生成模型，仅通过因果排序即可从观测数据中识别并估计结构因果模型。
• 设计能够内嵌因果依赖关系并尊重因果图结构的归一化流。
• 在归一化流中实现 do-算子，以支持精确的干预与反事实推理。
• 在包含混合离散-连续变量和部分因果知识的真实世界数据集上验证该框架。
• 在近似因果数据生成过程方面优于现有单DNN方法。

提出的方法

• 该方法使用自回归归一化流（NFs）建模内生变量的联合分布，由因果排序参数化。
• 通过邻接矩阵 A 和因果排序 π 嵌入因果结构，定义自回归流的条件依赖关系。
• 通过修改流的条件分布以固定干预变量，实现 do-算子，从而支持精确的干预密度估计。
• 通过在 NF 中使用适当的条件分布（如类别分布和连续流），支持混合离散-连续数据。
• 通过流的自回归结构，将每个变量的分布条件化在其因果父节点上，从而整合因果知识。
• 该框架支持使用观测数据的最大似然估计对完整因果模型进行端到端训练。

实验结果

研究问题

• RQ1 在已知因果排序的前提下，因果归一化流能否从观测数据中识别结构因果模型？
• RQ2 如何在归一化流中嵌入因果结构，以确保正确的条件依赖关系？
• RQ3 能否在归一化流中有效实现 do-算子，以支持精确的干预与反事实推理？
• RQ4 与其它深度生成模型相比，所提出的 Causal NF 在因果推断任务中的表现如何？
• RQ5 Causal NF 能否处理包含混合离散-连续变量和部分因果知识的真实世界数据？

主要发现

• Causal NF 在 SIMPSONNLIN 和 5-CHAINLIN 等合成基准测试中成功恢复了真实干预分布，对 do(x3 = −1.09) 和 do(x3 = 2.18) 的估计准确。
• 该模型保持了不涉及干预变量的相关性，表明干预后祖先到后代的依赖关系被正确打破。
• 在德国信贷数据集上，Causal NF 即使在部分因果图知识和混合数据类型下，也能对观测分布和干预分布（do(x1 = 1)）实现良好拟合。
• 消融研究证实，所提出的结构设计选择（如使用具有 3 层 MLP 的 NSF 和学习率为 0.01 的 Adam）可实现最优性能。
• Causal NF 在近似因果数据生成过程方面优于竞争的单 DNN 方法，尤其在处理复杂依赖关系和混合数据方面表现更优。
• 该框架成功应用于公平性审计任务，仅基于观测数据和部分因果结构，即可准确建模性别对信贷结果的因果效应。