[论文解读] LazyIter: A Fast Algorithm for Counting Markov Equivalent DAGs and Designing Experiments

Ali AhmadiTeshnizi, Saber Salehkaleybar+1 more|arXiv (Cornell University)|Jun 17, 2020

Advanced Graph Neural Networks被引用 6

一句话总结

该论文提出 LazyIter，一种用于单节点干预后快速遍历DAG的马尔可夫等价类（MECs）的算法，实现了对MEC大小的高效计算以及最优实验设计。通过利用不同MEC之间的结构相似性，避免重复的边重定向计算，LazyIter在稀疏图上将时间复杂度降低O(n)，在主动学习与被动学习设置中均优于先前方法。

ABSTRACT

The causal relationships among a set of random variables are commonly represented by a Directed Acyclic Graph (DAG), where there is a directed edge from variable $X$ to variable $Y$ if $X$ is a direct cause of $Y$. From the purely observational data, the true causal graph can be identified up to a Markov Equivalence Class (MEC), which is a set of DAGs with the same conditional independencies between the variables. The size of an MEC is a measure of complexity for recovering the true causal graph by performing interventions. We propose a method for efficient iteration over possible MECs given intervention results. We utilize the proposed method for computing MEC sizes and experiment design in active and passive learning settings. Compared to previous work for computing the size of MEC, our proposed algorithm reduces the time complexity by a factor of $O(n)$ for sparse graphs where $n$ is the number of variables in the system. Additionally, integrating our approach with dynamic programming, we design an optimal algorithm for passive experiment design. Experimental results show that our proposed algorithms for both computing the size of MEC and experiment design outperform the state of the art.

研究动机与目标

• 开发一种高效方法，用于在单节点干预后遍历可能的MECs，避免冗余计算。
• 比现有动态规划方法更高效地计算马尔可夫等价类（MEC）的大小。
• 在主动学习与被动学习设置中，为因果结构发现设计最优实验选择策略。
• 提供首个针对最坏情况被动实验设计的精确、高效动态规划算法。
• 与之前工作相比，提升在密集图与稀疏图上的可扩展性与性能。

提出的方法

• LazyIter通过固定一个节点为根，重用相似MECs之间的边方向模式来遍历可能的干预结果，避免重复计算。
• 该算法利用本质图的结构，仅重定向极小部分边来生成新的候选DAG。
• MEC大小计算结合LazyIter与动态规划，高效计算一个MEC中DAG的数量。
• 在被动学习中，提出一种新型动态规划公式，其中DP[S][T]表示在子图S中干预T内节点后的最小有向边数。
• 动态规划递推式利用LazyIter探索根节点的所有可能干预结果，并整合连通分量的结果。
• 该方法支持两种目标函数：最小化剩余无向边数，以及最大化MEC大小的减少量。

实验结果

研究问题

• RQ1 我们能否在不进行冗余边重定向的情况下，高效遍历单节点干预后产生的所有可能MECs？
• RQ2 我们能否通过利用MECs之间的结构相似性，降低MEC大小计算的时间复杂度？
• RQ3 我们能否为因果发现中的最坏情况被动实验设计设计一个精确且高效的算法？
• RQ4 LazyIter在稀疏图与密集图上的可扩展性与之前方法相比如何？
• RQ5 所提出的方法能否在主动学习与被动学习设置中优于启发式与近似方法？

主要发现

• 对于稀疏图，与之前动态规划方法相比，LazyIter将MEC大小计算的时间复杂度降低了O(n)倍。
• 尽管在稀疏图上与MemoMAO（最先进方法）性能相近，LazyCount（MEC大小计算的变体）在密集图上表现显著更优。
• 基于LazyIter的主动学习算法在干预目标选择上，相比先前方法（如Hauser & Bühlmann, 2014）最快可提升O(n)倍。
• 所提出的基于DP的被动学习算法是首个针对最坏情况实验设计的精确方法，优于随机与MaxDegree启发式方法，尤其在图阶数增加时优势更明显。
• 在被动学习中，随着预算与图阶数的增加，边推断比率显著提升，证明了该算法的可扩展性与有效性。
• 该算法在不同图阶数与边密度下均表现出良好可扩展性，在所有测试配置中均持续优于基线方法。