[论文解读] A Graph Autoencoder Approach to Causal Structure Learning

Ignavier Ng, Shengyu Zhu+2 more|arXiv (Cornell University)|Nov 18, 2019

Bayesian Modeling and Causal Inference参考文献 17被引用 54

一句话总结

提出基于图自编码器（GAE）的梯度方法用于因果结构学习，能够处理非线性 SEM 和向量值变量，在较大图规模下相对于以往基于梯度的方法显示出性能提升和接近线性训练时间。

ABSTRACT

Causal structure learning has been a challenging task in the past decades and several mainstream approaches such as constraint- and score-based methods have been studied with theoretical guarantees. Recently, a new approach has transformed the combinatorial structure learning problem into a continuous one and then solved it using gradient-based optimization methods. Following the recent state-of-the-arts, we propose a new gradient-based method to learn causal structures from observational data. The proposed method generalizes the recent gradient-based methods to a graph autoencoder framework that allows nonlinear structural equation models and is easily applicable to vector-valued variables. We demonstrate that on synthetic datasets, our proposed method outperforms other gradient-based methods significantly, especially on large causal graphs. We further investigate the scalability and efficiency of our method, and observe a near linear training time when scaling up the graph size.

研究动机与目标

• 说明从观测数据中可扩展因果结构学习的需求。
• 将基于梯度的结构学习推广到用于非线性关系的图自编码器框架。
• 在一个连续优化设定下实现对向量值变量的处理。
• 在合成数据集上展示可扩展性及效率优势。
• 将性能与最先进的基于梯度的方法进行比较。

提出的方法

• 将因果结构学习表述为具有编码器 g1 和解码器 g2 以及线性信息传递 A^T H^(j) 的图自编码器。
• 使用 f(X^(j),A)=g2(A^T g1(X^(j))) 来建模非线性关系；在变量之间共享权重。
• 以对 A 的 L1 惩罚项优化重建损失：min_{A,Θ1,Θ2} 1/2n ∑_j ||X^(j) - X_hat^(j)||^2_F + λ||A||_1。
• 通过光滑约束 tr(exp(A ⊙ A)) - d = 0 来强制无环性，并使用增广拉格朗日方法求解。
• 为 g1 和 g2 使用两层多层感知机（MLP）且权重共享；通过梯度优化（Adam）更新。
• 在包含标量和向量值变量的合成数据上与 NOTEARS 和 DAG-GNN 进行对比；评估 SHD 和 TPR。

实验结果

研究问题

• RQ1 图自编码器框架是否能够建模非线性因果关系并在因果结构学习中支持向量值变量？
• RQ2 GAE 基于方法在合成数据上是否相较于最先进的基于梯度的方法（NOTEARS、DAG-GNN）提高了准确性，特别是在更大规模图上？
• RQ3 随着图规模增加，该方法的可扩展性和训练时间特性如何？
• RQ4 在标量与向量值变量设置下，该方法的表现如何？

主要发现

• GAE 在合成数据集上优于 NOTEARS 和 DAG-GNN，尤其在较大规模的图中。
• 该方法在扩展到 100 个节点时实现了接近线性训练时间。
• 对于标量值情况，GAE 在测试的图大小和非线性数据生成模型下具有更低的 SHD 和更高的 TPR。
• 对于向量值情况（l=5，潜在维度 l′=3），GAE 显示出更好的 SHD 和 TPR，特别是随着图规模增加。
• 实验表明 DAG-GNN 在这些数据集上可能没有很好地扩展性，而 NOTEARS 在某些设置下也具有竞争力。
• 在 GPU 上的实验表明，与 DAG-GNN 相比，GAE 的训练时间保持较快。