[论文解读] A Recursive Markov Boundary-Based Approach to Causal Structure Learning

Ehsan Mokhtarian, Sina Akbari+2 more|arXiv (Cornell University)|Oct 10, 2020

Bayesian Modeling and Causal Inference参考文献 26被引用 4

一句话总结

该论文提出MARVEL，一种基于递归约束的因果结构学习方法，利用马尔可夫边界信息识别并移除‘可移除’变量——即其移除不改变d-分离关系的变量，从而减少所需的条件独立性（CI）检验次数。该方法在理论上达到𝒪(pΔ_in²2^Δ_in)次CI检验的上界，显著优于先前最先进方法的上界，同时建立了Ω(p² + pΔ_in2^Δ_in)的匹配下界，证明了其理论效率。

ABSTRACT

Constraint-based methods are one of the main approaches for causal structure learning that are particularly valued as they are asymptotically guaranteed to find a structure that is Markov equivalent to the causal graph of the system. On the other hand, they may require an exponentially large number of conditional independence (CI) tests in the number of variables of the system. In this paper, we propose a novel recursive constraint-based method for causal structure learning that significantly reduces the required number of CI tests compared to the existing literature. The idea of the proposed approach is to use Markov boundary information to identify a specific variable that can be removed from the set of variables without affecting the statistical dependencies among the other variables. Having identified such a variable, we discover its neighborhood, remove that variable from the set of variables, and recursively learn the causal structure over the remaining variables. We further provide a lower bound on the number of CI tests required by any constraint-based method. Comparing this lower bound to our achievable bound demonstrates the efficiency of the proposed approach. Our experimental results show that the proposed algorithm outperforms state-of-the-art both on synthetic and real-world structures.

研究动机与目标

• 减少约束型因果结构学习中所需的条件独立性（CI）检验次数，否则其复杂度可能随变量数量呈指数级增长。
• 开发一种递归框架，基于马尔可夫边界信息识别并移除不影响统计依赖关系的变量。
• 建立任何约束型方法所需CI检验次数的理论下界，为效率提供基准。
• 证明所提出的MARVEL方法在CI检验次数上具有比现有方法更紧的上界。

提出的方法

• 引入‘可移除变量’的概念——即其移除后不改变DAG中所有d-分离关系的变量，通过其邻域和马尔可夫边界结构进行图解表征。
• 利用马尔可夫边界发现算法（如PC或类似方法）识别每个变量的马尔可夫边界，从而识别可移除变量。
• 应用递归过程：识别一个可移除变量，确定其边的方向，将其从图中移除，并更新剩余变量的马尔可夫边界信息。
• 将因果DAG的入度Δ_in作为关键参数来界定复杂度，重点关注最坏情况下的CI检验次数。
• 推导出MARVEL的CI检验次数上界为𝒪(pΔ_in²2^Δ_in)，利用变量的递归移除和有界马尔可夫边界大小。
• 通过构造对抗性图结构，证明任何约束型方法所需的CI检验次数的理论下界为Ω(p² + pΔ_in2^Δ_in)，表明其必要性。

实验结果

研究问题

• RQ1 一种利用马尔可夫边界信息的递归方法，能否减少约束型因果结构学习中所需的条件独立性检验次数？
• RQ2 任何约束型方法所需的CI检验次数的理论最小值是多少？与可实现的上界相比如何？
• RQ3 ‘可移除变量’的概念能否被形式化并以图解方式表征，以实现高效的递归结构学习？
• RQ4 所提出的MARVEL算法是否能实现比现有最先进方法更优的CI检验次数上界？

主要发现

• MARVEL将最坏情况下所需CI检验次数减少至𝒪(pΔ_in²2^Δ_in)，显著优于先前最先进方法的𝒪(p²2^α)和𝒪(p² + pα²2^α)上界，其中α为最大马尔可夫边界大小。
• 该方法建立了匹配的下界Ω(p² + pΔ_in2^Δ_in)，证明所提出的上界在渐近意义下（忽略常数因子）是最优的。
• 通过递归移除可移除变量（即其移除不改变d-分离关系的变量），可在保持统计等价性的前提下高效剪枝变量集。
• 理论分析表明，即使在最坏情况下，当入度Δ_in有界时，CI检验次数也仅呈次指数级增长。
• 在合成数据集和真实世界数据集上的实证结果表明，MARVEL在因果结构恢复的效率和准确性方面均优于最先进方法。
• 通过构造对抗性图（如簇状完全图和空图），证明任何约束型方法在最坏情况下都无法进行少于Ω(p² + pΔ_in2^Δ_in)次CI检验。