[论文解读] Learning directed acyclic graphs based on sparsest permutations

Garvesh Raskutti, Caroline Uhler|arXiv (Cornell University)|Jul 1, 2013

Bayesian Modeling and Causal Inference参考文献 27被引用 9

一句话总结

该论文提出了一种用于从观测数据中学习贝叶斯网络的稀疏排列（SP）算法，通过选择使精度矩阵的逆协方差矩阵的Cholesky分解最稀疏的变量排列，来识别有向无环图（DAG）的马尔可夫等价类。SP算法在严格弱于信仰性假设的结构-意义关系（SMR）假设下实现统计一致性，其准确性优于标准方法如PC、SGS、GES和MMHC，尤其在样本量和图规模增大时表现更优，但计算成本较高。

ABSTRACT

We consider the problem of learning a Bayesian network or directed acyclic graph (DAG) model from observational data. A number of constraint-based, score-based and hybrid algorithms have been developed for this purpose. For constraint-based methods, statistical consistency guarantees typically rely on the faithfulness assumption, which has been show to be restrictive especially for graphs with cycles in the skeleton. However, there is only limited work on consistency guarantees for score-based and hybrid algorithms and it has been unclear whether consistency guarantees can be proven under weaker conditions than the faithfulness assumption. In this paper, we propose the sparsest permutation (SP) algorithm. This algorithm is based on finding the causal ordering of the variables that yields the sparsest DAG. We prove that this new score-based method is consistent under strictly weaker conditions than the faithfulness assumption. We also demonstrate through simulations on small DAGs that the SP algorithm compares favorably to the constraint-based PC and SGS algorithms as well as the score-based Greedy Equivalence Search and hybrid Max-Min Hill-Climbing method. In the Gaussian setting, we prove that our algorithm boils down to finding the permutation of the variables with sparsest Cholesky decomposition for the inverse covariance matrix. Using this connection, we show that in the oracle setting, where the true covariance matrix is known, the SP algorithm is in fact equivalent to $\ell_0$-penalized maximum likelihood estimation.

研究动机与目标

• 开发一种因果推断算法，使其在弱于信仰性条件的假设下实现一致性。
• 解决依赖信仰性假设的约束型方法的局限性，因为信仰性假设在存在环的图中对抽样误差敏感。
• 通过提出具有更强一致性保证但计算复杂度高的算法，建立因果发现中的统计-计算权衡。
• 证明SP算法在高斯无噪声设定下等价于ℓ₀-惩罚最大似然估计。
• 在骨架恢复准确性方面，通过实验比较SP算法与标准方法如PC、SGS、GES和MMHC。

提出的方法

• SP算法在所有变量排列中搜索，以找到使逆协方差矩阵的Cholesky分解最稀疏的排列。
• 在高斯无噪声设定下，SP算法在数学上等价于学习精度矩阵的ℓ₀-惩罚最大似然估计。
• 该方法依赖于结构-意义关系（SMR）假设，该假设严格弱于受限信仰性，且能保证一致性。
• 通过在所有排列中选择边数最少的DAG来识别马尔可夫等价类。
• 使用条件独立性检验来估计骨架，利用方向规则推断v-结构，但核心选择基于Cholesky因子的稀疏性。
• SP算法计算量大，仅适用于小到中等规模图（≤10个节点），尽管其贪心变体可扩展至数百个节点。

实验结果

研究问题

• RQ1 我们能否在弱于信仰性的假设下学习贝叶斯网络？
• RQ2 SP算法是否在SMR假设下实现一致性，而该假设弱于受限信仰性？
• RQ3 SP算法在准确性上与标准因果推断算法如PC、SGS、GES和MMHC相比如何？
• RQ4 在因果发现中，实现更强一致性保证的计算成本是多少？
• RQ5 SP算法在高斯设定下是否等价于ℓ₀-惩罚最大似然估计？

主要发现

• SP算法在SMR假设下实现统计一致性，而SMR假设严格弱于受限信仰性假设。
• 在高斯无噪声设定下，SP算法等价于寻找逆协方差矩阵的最稀疏Cholesky分解。
• SP算法在骨架恢复准确性方面优于PC、SGS、GES和MMHC，尤其当节点数从5增加到8时表现更优。
• 当p=8且n=10⁴时，SP算法在所有显著性水平（α=10⁻², 10⁻³, 10⁻⁴）下，超过90%的模拟中正确恢复了骨架。
• SP算法产生的假正例（多余边）和假负例（缺失边）少于基线方法，尤其在样本量较大时更为明显。
• SP算法的计算成本限制其仅适用于最多10个节点的图，表明存在明确的统计-计算权衡。