[论文解读] Masked Gradient-Based Causal Structure Learning

Ignavier Ng, Shengyu Zhu+4 more|arXiv (Cornell University)|Oct 18, 2019

Bayesian Modeling and Causal Inference被引用 6

一句话总结

该论文提出了一种基于掩码梯度的因果结构学习方法（MCSL），这是一种新颖的可微分框架，通过使用二值邻接矩阵（掩码）重新表述结构方程模型（SEM），从而实现基于梯度的优化。通过利用Gumbel-Softmax进行离散边估计，并引入平滑的无环约束，MCSL在多种数据类型（包括非线性、向量值和后非线性模型）上实现了最先进性能，同时通过接近0或1的预测值实现简单的边阈值化处理。

ABSTRACT

This paper studies the problem of learning causal structures from observational data. We reformulate the Structural Equation Model (SEM) with additive noises in a form parameterized by binary graph adjacency matrix and show that, if the original SEM is identifiable, then the binary adjacency matrix can be identified up to super-graphs of the true causal graph under mild conditions. We then utilize the reformulated SEM to develop a causal structure learning method that can be efficiently trained using gradient-based optimization, by leveraging a smooth characterization on acyclicity and the Gumbel-Softmax approach to approximate the binary adjacency matrix. It is found that the obtained entries are typically near zero or one and can be easily thresholded to identify the edges. We conduct experiments on synthetic and real datasets to validate the effectiveness of the proposed method, and show that it readily includes different smooth model functions and achieves a much improved performance on most datasets considered.

研究动机与目标

• 解决现有基于梯度的因果结构学习方法依赖加权邻接矩阵且对模型误设敏感的局限性。
• 开发一种灵活的可微分框架，可整合任意模型函数（如神经网络、多项式）而无需结构假设。
• 通过二值掩码估计实现稳健的边识别，其结果自然聚集在0或1附近，从而可通过0.5阈值化实现简单处理。
• 通过邻接矩阵的平滑、可微分表征，确保优化过程中的无环性。
• 在合成数据和真实世界数据集上验证该方法的有效性，包括具有挑战性的后非线性模型和向量值模型。

提出的方法

• 使用二值邻接矩阵（掩码）重新表述加性噪声模型（ANM），以表示因果关系，其中每个条目决定父变量是否影响子变量。
• 提出一种基于邻接矩阵谱半径的平滑、可微分无环约束，支持基于梯度的优化。
• 采用Gumbel-Softmax松弛方法，对离散二值掩码进行可微分近似，使反向传播能够通过边选择过程。
• 基于观测变量与预测变量之间的重构误差设计评分函数，并通过随机梯度下降进行优化。
• 对最终的掩码估计值在0.5处进行阈值化处理，以提取离散因果图，由于掩码条目高度聚集在0或1附近，因此边预测具有高置信度。
• 通过将模型函数（如MLP、多项式）直接嵌入掩码SEM框架中，支持灵活的函数形式，实现结构学习与函数形式假设的解耦。

实验结果

研究问题

• RQ1 在较弱条件下，SEM的二值掩码参数化是否能实现真实因果图的可识别性？
• RQ2 通过二值边的可微分松弛，能否有效应用于离散因果结构学习的基于梯度优化？
• RQ3 所提出方法在现有方法失效的非线性、向量值和后非线性数据模型上是否具备良好的泛化能力？
• RQ4 掩码条目是否能通过固定的0.5阈值可靠地恢复准确的因果图，而无需手动调参？
• RQ5 在多样化数据分布下，该方法与最先进基线方法（如NOTEARS、DAG-GNN、GraN-DAG、CAM）相比表现如何？

主要发现

• 在真实Sachs数据集上，MCSL-MLP实现了12的平均结构汉明距离（SHD），与CAM持平，优于GraN-DAG（SHD=13）。
• 在包含10至50个节点的后非线性模型上，MCSL-MLP实现了最低的SHD和最高的真正例率（TPR），显著优于GraN-DAG和CAM。
• 在非线性二次模型上，MCSL-MLP实现了1.4的SHD，优于所有基线方法，包括NOTEARS和DAG-GNN。
• 在电信根因检测任务中，MCSL在80%的测试案例中正确识别了根本原因，远超其他方法30%的成功率。
• 该方法对模型误设具有鲁棒性，在违反GraN-DAG和CAM所需受限ANM假设的数据上仍保持优异性能。
• 预测的掩码条目强烈聚集在0或1附近，使得通过固定0.5阈值实现可靠的边识别成为可能，无需超参数调优。