[论文解读] Learning Neural Causal Models from Unknown Interventions

Nan Rosemary Ke, Olexa Bilaniuk+7 more|arXiv (Cornell University)|Oct 2, 2019

Bayesian Modeling and Causal Inference参考文献 59被引用 46

一句话总结

本论文介绍 SDI，一种连续优化方法，通过观测数据和未知干预来学习结构因果模型，使用神经网络和 REINFORCE 风格的梯度来恢复有向无环图（DAG）结构并对未见干预具有泛化能力。

ABSTRACT

Promising results have driven a recent surge of interest in continuous optimization methods for Bayesian network structure learning from observational data. However, there are theoretical limitations on the identifiability of underlying structures obtained from observational data alone. Interventional data provides much richer information about the underlying data-generating process. However, the extension and application of methods designed for observational data to include interventions is not straightforward and remains an open problem. In this paper we provide a general framework based on continuous optimization and neural networks to create models for the combination of observational and interventional data. The proposed method is even applicable in the challenging and realistic case that the identity of the intervened upon variable is unknown. We examine the proposed method in the setting of graph recovery both de novo and from a partially-known edge set. We establish strong benchmark results on several structure learning tasks, including structure recovery of both synthetic graphs as well as standard graphs from the Bayesian Network Repository.

研究动机与目标

• 解决仅从观测数据学习时存在的可识别性局限。
• 开发一个整合观测数据和干预数据的框架，即使干预目标未知。
• 实现离散变量 SCM 的可扩展结构学习以及部分知识情景。
• 在来自贝叶斯网络资源库中的合成图和真实数据集上提供强有力的实证基准。

提出的方法

• 用柔化邻接矩阵 gamma 对图结构参数化，并使用 Bernoulli(C) 边配置来采样 DAG。
• 为每个变量条件于其（采样的）父集来训练条件概率模型 theta。
• 阶段 1：在观测数据下，根据采样的图配置，通过似然最大化拟合 theta。
• 阶段 2：通过观察预测退化来对比干预数据对图配置进行评分，当干预目标未知时，预测干预目标。
• 阶段 3：利用干预数据的奖励，通过类似 REINFORCE 的梯度更新 gamma，以细化边的信念。
• 施加一个 DAG 正则化项以阻止回路，并施加稀疏性惩罚以促成简洁的图。

实验结果

研究问题

• RQ1 提出的模型是否能从混合观测数据与未知干预中恢复真实的因果图？
• RQ2 SDI 方法在真实世界数据集上与最先进的因果发现方法相比如何？
• RQ3 模型是否对未见的干预以及部分图恢复场景具备泛化能力？
• RQ4 SDI 在图规模和密度上的可扩展性如何？
• RQ5 该方法在未知干预目标和部分先验边信息时的处理能力如何？

主要发现

• SDI 在合成图和真实基准上实现了强大的图恢复，在 SHD 指标上超过若干基线。
• 该方法在多个合成图达到一定规模和密度时能够完美恢复 DAG，对于非常大或稠密的图会有一定难度。
• SDI 对未见干预具泛化能力，在干预数据上的对数似然高于非因果模型。
• 在部分图恢复设置中，当仅学习子集边时，SDI 能达到高准确率，且可扩展到包含数十个变量的图。
• SDI 的干预目标预测启发式在已知/未知目标干预设置之间的性能桥接有帮助。