[论文解读] Consistency Guarantees for Greedy Permutation-Based Causal Inference Algorithms

Liam Solus, Yuhao Wang+1 more|arXiv (Cornell University)|Feb 12, 2017

Bayesian Modeling and Causal Inference被引用 5

一句话总结

本文首次为基于贪心排列的因果结构学习算法提供了的一致性保证，表明在 DAG 关联多面体（由排列体的子多面体导出）上进行贪心最稀疏排列搜索，可在弱于 faithfulness 假设的条件下实现统一且高维的一致性。该方法计算效率高，在模拟数据和真实数据上均优于现有算法，同时保持理论严谨性。

ABSTRACT

Directed acyclic graphical models, or DAG models, are widely used to represent complex causal systems. Since the basic task of learning such a model from data is NP-hard, a standard approach is greedy search over the space of directed acyclic graphs or Markov equivalence classes of directed acyclic graphs. As the space of directed acyclic graphs on $p$ nodes and the associated space of Markov equivalence classes are both much larger than the space of permutations, it is desirable to consider permutation-based greedy searches. Here, we provide the first consistency guarantees, both uniform and high-dimensional, of a greedy permutation-based search. This search corresponds to a simplex-like algorithm operating over the edge-graph of a sub-polytope of the permutohedron, called a DAG associahedron. Every vertex in this polytope is associated with a directed acyclic graph, and hence with a collection of permutations that are consistent with the directed acyclic graph ordering. A walk is performed on the edges of the polytope maximizing the sparsity of the associated directed acyclic graphs. We show via simulated and real data that this permutation search is competitive with current approaches.

研究动机与目标

• 解决基于贪心排列的因果推断算法缺乏理论一致性保证的问题。
• 开发一种可扩展的替代方案，以替代非贪心最稀疏排列算法（该算法虽一致但时间复杂度高达 O(p!)，计算成本过高）。
• 在弱于 faithfulness 的假设下，建立统一且高维的一致性，以支持稳健的结构学习。
• 在模拟数据和真实数据上，展示该方法在结构恢复方面与当前最先进方法（如 PC 算法和贪婪等价搜索 GES）相比具有竞争力的性能。

提出的方法

• 该算法在一种称为 DAG 关联多面体的多面体上运行，该多面体是排列体的子多面体，其中每个顶点对应一个 DAG 及其一致的排列。
• 在 DAG 关联多面体的边上执行类似单纯形的贪心搜索，通过边翻转操作逐步优化得分函数，优先选择更稀疏的 DAG。
• 搜索过程通过高斯图模型中的偏相关系数进行条件独立性检验，利用假设检验推断边的存在性。
• 采用最小度启发式策略指导排列选择，减少搜索空间，提升计算效率。
• 通过在高维渐近条件下对正确排列恢复概率的界进行分析，结合偏相关检验的集中不等式，建立理论一致性。
• 通过仅限制那些能提升得分的移动操作，避免全枚举，形成先前工作中所用移动操作的严格子集，从而提升效率。

实验结果

研究问题

• RQ1 基于贪心排列的因果结构学习算法能否实现理论一致性保证？
• RQ2 此类算法是否在弱于 faithfulness 的假设下仍保持一致性？
• RQ3 该算法能否在高维设置（p ≫ n）下保持一致性与性能的同时实现可扩展性？
• RQ4 与 PC 算法和 GES 等成熟方法相比，贪心最稀疏排列算法在结构恢复方面的性能如何？
• RQ5 所提算法相对于现有贪心与非贪心方法的计算效率如何？

主要发现

• 所提出的贪心最稀疏排列算法在弱于 faithfulness 的假设下实现了统一且高维的一致性，扩展了基于排列方法的理论有效性。
• 在高维渐近条件下（n → ∞，且 p 随 n 多项式增长），该算法以至少 1 - O(exp(−cn^{1−2ℓ})) 的概率实现可证明的一致性，其中 c > 0。
• 在模拟数据与真实数据实验中，该算法在边预测的 AUC 指标上优于 PC 算法和 GES，而 PC 算法与 GES 的表现接近随机猜测。
• 该算法在最坏情况下时间复杂度为 O(p!)（例如完全 DAG），但实际中由于贪心剪枝和受限移动集合而表现出高效的可扩展性。
• 现已提供基于 Python 的快速实现（causaldag 包），表明该方法不仅具有理论可行性，也具备实际应用潜力。
• 该方法仅使用先前算法中的一部分移动操作，排除了那些被保证无法提升得分的操作，从而提升效率并支持更优的运行时间表现。