[论文解读] High-dimensional learning of linear causal networks via inverse covariance estimation

Po‐Ling Loh, Peter Bühlmann|arXiv (Cornell University)|Nov 14, 2013

Bayesian Modeling and Causal Inference参考文献 28被引用 102

一句话总结

本文提出一种两阶段方法，用于通过精度矩阵估计和动态规划学习高维线性高斯与非高斯因果网络。它证明了当误差方差已知或估计良好时，真实DAG是重加权平方ℓ₂损失得分的唯一最小化器，并在真实DAG与竞争DAG之间存在“间隙”条件下建立了高维一致性。

ABSTRACT

We establish a new framework for statistical estimation of directed acyclic graphs (DAGs) when data are generated from a linear, possibly non-Gaussian structural equation model. Our framework consists of two parts: (1) inferring the moralized graph from the support of the inverse covariance matrix; and (2) selecting the best-scoring graph amongst DAGs that are consistent with the moralized graph. We show that when the error variances are known or estimated to close enough precision, the true DAG is the unique minimizer of the score computed using the reweighted squared l_2-loss. Our population-level results have implications for the identifiability of linear SEMs when the error covariances are specified up to a constant multiple. On the statistical side, we establish rigorous conditions for high-dimensional consistency of our two-part algorithm, defined in terms of a "gap" between the true DAG and the next best candidate. Finally, we demonstrate that dynamic programming may be used to select the optimal DAG in linear time when the treewidth of the moralized graph is bounded.

研究动机与目标

• 开发一种在高维线性结构方程模型（SEMs）中学习有向无环图（DAGs）的统计一致性方法，尤其适用于误差为非高斯的情况。
• 通过利用由精度矩阵估计导出的道德图来限制搜索空间，以解决穷举DAG搜索的计算不可行性。
• 建立理论条件，使得真实DAG可通过基于得分的选择程序被唯一识别和恢复。
• 将图模型Lasso和精度矩阵估计的适用性从高斯模型扩展到具有非高斯误差的一般线性SEM。
• 证明当道德图的树宽有界时，动态规划可高效求解DAG选择步骤，实现线性时间计算。

提出的方法

• 使用图模型Lasso等方法估计联合分布的精度矩阵，以推断条件独立结构。
• 从估计精度矩阵的支撑集构建道德图，表示潜在DAG的骨架。
• 使用可分解得分函数——具体为重加权平方ℓ₂损失——评估与道德图一致的候选DAG。
• 应用动态规划在与道德图兼容的DAG中进行搜索，当树宽有界时实现线性时间复杂度。
• 利用矩阵浓度不等式控制精度矩阵估计误差，并在高维渐近下确保一致性。
• 证明当误差方差已知或一致估计时，真实DAG是得分函数的唯一最小化器。

实验结果

研究问题

• RQ1 在非高斯线性SEM中，精度矩阵能否支持道德图的一致估计？
• RQ2 在何种条件下，真实DAG是重加权平方ℓ₂损失得分函数的唯一最小化器？
• RQ3 如何利用道德图有效限制DAG的搜索空间，以实现可扩展学习？
• RQ4 在真实DAG与备选DAG之间存在“间隙”条件下，能否为两阶段算法建立高维一致性保证？
• RQ5 当道德图的树宽有界时，能否使用动态规划高效求解DAG选择问题？

主要发现

• 当误差方差已知或估计足够精确时，真实DAG是重加权平方ℓ₂损失得分函数的唯一最小化器。
• 在真实DAG与次优候选DAG之间存在“间隙”条件下，两阶段算法具有高维一致性。
• 即使在非高斯线性SEM中，道德图也可通过精度矩阵估计一致估计。
• 当道德图的树宽有界时，可通过动态规划在时间复杂度为线性的时间内找到最优DAG。
• 矩阵浓度不等式提供了精度矩阵估计误差的统一界，使得在次高斯假设下可实现高维一致性。
• 该框架将图模型Lasso和精度矩阵估计的适用性从高斯模型扩展到具有非高斯误差的一般线性SEM。