[论文解读] Learning DAGs without imposing acyclicity

Gherardo Varando|arXiv (Cornell University)|Jun 4, 2020

Bayesian Modeling and Causal Inference参考文献 23被引用 5

一句话总结

该论文提出了一种新颖的方法，无需显式强制执行无环性，即可从数据中学习有向无环图（DAGs）。该方法将问题重新表述为对精度矩阵的 $\ell_1$-惩罚稀疏矩阵分解。该方法使用邻近梯度算法估计分解过程，在图恢复性能和计算效率方面表现优异，结果表明其能生成近乎无环的图，并在速度上优于经典方法。

ABSTRACT

We explore if it is possible to learn a directed acyclic graph (DAG) from data without imposing explicitly the acyclicity constraint. In particular, for Gaussian distributions, we frame structural learning as a sparse matrix factorization problem and we empirically show that solving an $\ell_1$-penalized optimization yields to good recovery of the true graph and, in general, to almost-DAG graphs. Moreover, this approach is computationally efficient and is not affected by the explosion of combinatorial complexity as in classical structural learning algorithms.

研究动机与目标

• 探究是否可以在优化过程中不显式约束无环性，依然实现DAG结构学习。
• 开发一种计算高效的替代方案，用于经典基于评分和基于约束的DAG学习算法。
• 评估基于$\ell_1$-惩罚似然最小化的稀疏矩阵分解方法在恢复真实DAG结构方面的性能。
• 证明该方法能够同时估计图结构和模型参数，而基于约束的方法则不能。

提出的方法

• 将线性SEM的精度矩阵表述为 $\Sigma^{-1} = A A^t$，其中 $A$ 继承了DAG邻接矩阵 $\Lambda$ 的稀疏模式。
• 将DAG学习重新表述为 $\ell_1$-惩罚的负对数似然最小化问题：$\min_A -2\log\det(A) + \mathrm{trace}(A^t \hat{R} A) + \lambda \|A\|_1$。
• 采用邻近梯度算法求解优化问题，使用软阈值法处理 $\ell_1$ 正则化，并通过LU分解计算对数行列式与逆矩阵。
• 直接利用估计得到的 $A$ 矩阵的非零模式恢复DAG结构，无需施加无环性约束。
• 利用该方法的解通常能产生近乎无环的图，即使未显式强制无环性。
• 使用Fortran实现该算法，并提供R和Python接口，代码发布于 github.com/gherardovarando/nodag。

实验结果

研究问题

• RQ1 是否可以在优化过程中不显式强制无环性，依然有效恢复DAG结构？
• RQ2 与经典DAG学习方法相比，$\ell_1$-惩罚矩阵分解方法在图恢复性能和计算速度方面的表现如何？
• RQ3 尽管未强制执行无环性，该方法在多大程度上能生成接近无环的图？
• RQ4 该方法是否能够同时估计图结构和底层SEM参数，而基于约束的方法则不能？

主要发现

• 所提出的方法在合成数据和真实世界数据上，与最先进算法相比，实现了具有竞争力的DAG恢复性能。
• 运行时间对比显示，该方法显著快于经典的基于评分和基于约束的DAG学习算法。
• 优化过程即使未显式施加无环性约束，也能持续生成近乎无环的图，表明$\ell_1$惩罚项隐式促进了无环性。
• 该方法通过$A$矩阵估计了完整的模型参数，从而能够恢复系数矩阵$\Lambda$，而基于约束的方法则无法实现。
• 该方法在不同正则化水平下均表现稳健，并可通过自助法高效计算正则化路径和稳定性选择。
• 实现具有计算高效性，每次迭代的计算成本仅依赖于 $p$，而不依赖于稀疏性或样本量，适用于大规模问题。