[论文解读] Differentiable Causal Discovery from Interventional Data

Philippe Brouillard, Sébastien Lachapelle+3 more|arXiv (Cornell University)|Jul 3, 2020

Bayesian Modeling and Causal Inference参考文献 39被引用 17

一句话总结

本文提出可微分因果发现方法（DCDI），一种基于神经网络与归一化流的可微分连续优化框架，用于从干预数据中学习因果结构，涵盖完美干预、不完美干预及目标未知的干预。该方法在满足正则性条件下可证明识别出干预的马尔可夫等价类，并在多种非线性函数形式与干预类型下优于当前最先进方法。

ABSTRACT

Learning a causal directed acyclic graph from data is a challenging task that involves solving a combinatorial problem for which the solution is not always identifiable. A new line of work reformulates this problem as a continuous constrained optimization one, which is solved via the augmented Lagrangian method. However, most methods based on this idea do not make use of interventional data, which can significantly alleviate identifiability issues. This work constitutes a new step in this direction by proposing a theoretically-grounded method based on neural networks that can leverage interventional data. We illustrate the flexibility of the continuous-constrained framework by taking advantage of expressive neural architectures such as normalizing flows. We show that our approach compares favorably to the state of the art in a variety of settings, including perfect and imperfect interventions for which the targeted nodes may even be unknown.

研究动机与目标

• 为解决从数据中学习因果结构的挑战，尤其是在观测数据中可识别性受限的情况下。
• 通过引入干预数据（包括干预目标未知或干预不完美）来提升可识别性。
• 开发一个理论基础坚实的可微分优化框架，避免组合搜索，支持端到端学习。
• 利用归一化流等表达能力强的密度估计器，建模复杂非线性因果机制，而无需强参数假设。
• 在多种干预类型与函数形式下（包括非线性和非高斯设置）展示稳健性能。

提出的方法

• 该方法将因果发现建模为使用增广拉格朗日法的连续约束优化问题，支持可微训练。
• 提出一种可微分评分函数，同时整合观测数据与干预数据，并通过可微化的无环性松弛来施加DAG结构约束。
• 该框架支持完美干预（被干预节点与其父节点断开）、不完美干预（因果机制被改变）以及目标未知的干预。
• 提出两种实现方式：一种使用标准神经网络进行密度估计，另一种使用归一化流作为通用密度逼近器以提升建模灵活性。
• 通过随机梯度下降进行优化，结合可微分的无环性约束，实现通过DAG结构的反向传播。
• 该方法具有理论依据：在正则性条件下，对所提评分函数的精确最大化可识别真实DAG的$σ$-马尔可夫等价类，适用于已知目标与未知目标干预设置。

实验结果

研究问题

• RQ1 可微分连续优化框架是否能有效从干预数据中学习因果结构，即使干预目标未知？
• RQ2 所提方法在一般非线性函数形式下是否能实现干预马尔可夫等价类的理论可识别性？
• RQ3 在完美干预、不完美干预及目标未知干预设置下，该方法相较于最先进方法表现如何？
• RQ4 在非线性和非高斯设置下，表达能力强的密度估计器（如归一化流）是否能提升因果发现性能？
• RQ5 不同干预类型与噪声水平对方法的鲁棒性与准确性有何影响？

主要发现

• DCDI在所有评估设置下均达到最先进性能，涵盖非线性函数形式与多种干预类型。
• 在已知目标干预设置下，DCDI-G（使用标准神经网络）在30变量数据集上取得80.5 ± 19.0的平均F1分数，优于所有基线方法。
• DCDI-DSF（使用归一化流）在相同数据集上取得81.3 ± 11.3的平均F1分数，表明更表达性的密度估计具有优势。
• 该方法对不完美干预表现出强鲁棒性，DCDI-DSF在30变量数据集上于此类条件下取得77.7 ± 12.8的平均F1分数。
• 在目标未知干预设置下，DCDI-DSF在30变量数据集上取得77.9 ± 7.5的平均F1分数，显著优于UTIGSP与JCI-PC变体。
• 该方法的理论保证确保了对评分函数的精确最大化可识别真实DAG的$σ$-马尔可夫等价类，为可靠因果发现提供了坚实基础。