[论文解读] Amortized learning of neural causal representations

Nan Rosemary Ke, Jane X. Wang+3 more|arXiv (Cornell University)|Aug 21, 2020

Bayesian Modeling and Causal Inference参考文献 23被引用 4

一句话总结

本文提出因果关系网络（CRN），一种神经网络框架，通过学习因果图的连续、可复用表示，实现对新因果结构的快速适应。通过结合元学习与干预数据，并利用可微分图解码器，CRN在合成数据上实现了90%的边准确率，显著优于基线模型，证明了连续因果表示在可扩展、可迁移因果发现中的有效性。

ABSTRACT

Causal models can compactly and efficiently encode the data-generating process under all interventions and hence may generalize better under changes in distribution. These models are often represented as Bayesian networks and learning them scales poorly with the number of variables. Moreover, these approaches cannot leverage previously learned knowledge to help with learning new causal models. In order to tackle these challenges, we represent a novel algorithm called extit{causal relational networks} (CRN) for learning causal models using neural networks. The CRN represent causal models using continuous representations and hence could scale much better with the number of variables. These models also take in previously learned information to facilitate learning of new causal models. Finally, we propose a decoding-based metric to evaluate causal models with continuous representations. We test our method on synthetic data achieving high accuracy and quick adaptation to previously unseen causal models.

研究动机与目标

• 解决传统基于贝叶斯网络的因果结构学习在可扩展性与可迁移性方面的局限性。
• 通过元学习利用先前学习的知识，实现在新因果图上的快速适应。
• 开发一种可微分的因果图连续表示，支持高效推理与泛化。
• 提出一种基于解码的评估指标，用于评估具有连续表示的因果模型，克服将隐式连续结构与真实图进行比较的挑战。

提出的方法

• 采用元学习设置，每个任务采样一个新的、独特的因果图，并从中生成干预数据。
• 使用关系神经网络编码器处理干预数据，生成表示因果结构的连续信念状态。
• 引入图解码器，从连续信念状态重建邻接矩阵，以实现基于边准确率的评估。
• 通过关系自编码器进行无监督对比学习，学习有意义的表示，而无需对图结构进行显式监督。
• 使用停止梯度操作将信念状态的训练与图解码器解耦，实现端到端训练并利用有监督信号。
• 在关系编码器中引入注意力机制，以建模因果图中变量之间的复杂依赖关系。

实验结果

研究问题

• RQ1 与离散的贝叶斯网络搜索相比，连续的神经网络表示是否能实现更快、更可扩展的因果发现？
• RQ2 通过元学习实现的可复用学习是否能使模型在训练过多样化图后，泛化到新的、未见过的因果结构？
• RQ3 连续信念状态是否足以重建准确的因果图，还是必须依赖解码器的显式监督？
• RQ4 与传统的结构匹配方法相比，所提出的基于解码的评估指标在评估连续因果表示时是否更有效？
• RQ5 关系架构在性能上相比MLP或LSTM等简单基线模型的提升程度如何？

主要发现

• 在训练后，因果关系网络（CRN）在合成因果图上实现了90%的边预测准确率，显著优于LSTM基线模型（准确率稳定在约70%）。
• 模型在任务内表现出快速适应能力，随着更多干预样本的观察，边准确率持续提升，表明其具备有效的可复用推理能力。
• 若从图解码器中移除信念状态，准确率降至60%以下，证明连续表示中包含了因果结构恢复的关键信息。
• 向图解码器引入有监督信号后，边准确率从90%提升至95%，表明解码器能从梯度反馈中获益。
• 关系自编码器至关重要：若无该模块，模型无法学习有意义的表示，基线实验中未使用自编码器的模型性能极差。
• 基于解码的评估指标成功捕捉了模型恢复真实因果结构的能力，为全干预预测比较提供了一种可扩展的替代方案。