[论文解读] Learning Causal Graphs with Small Interventions

Karthikeyan Shanmugam, Murat Kocaoglu+2 more|arXiv (Cornell University)|Oct 30, 2015

Bayesian Modeling and Causal Inference参考文献 11被引用 19

一句话总结

本文提出了一种新颖的确定性自适应算法，用于在干预规模受限的情况下学习因果DAG，通过利用弦图结构和Meek规则实现接近最优的性能。论文证明了即使在自适应情况下，完整图仍需要分离系统，提出了一种更简单的近似最优分离系统构造方法，并通过仿真表明，与以往方法相比，新方法所需的干预次数显著减少，接近信息论下界。

ABSTRACT

We consider the problem of learning causal networks with interventions, when each intervention is limited in size under Pearl's Structural Equation Model with independent errors (SEM-IE). The objective is to minimize the number of experiments to discover the causal directions of all the edges in a causal graph. Previous work has focused on the use of separating systems for complete graphs for this task. We prove that any deterministic adaptive algorithm needs to be a separating system in order to learn complete graphs in the worst case. In addition, we present a novel separating system construction, whose size is close to optimal and is arguably simpler than previous work in combinatorics. We also develop a novel information theoretic lower bound on the number of interventions that applies in full generality, including for randomized adaptive learning algorithms. For general chordal graphs, we derive worst case lower bounds on the number of interventions. Building on observations about induced trees, we give a new deterministic adaptive algorithm to learn directions on any chordal skeleton completely. In the worst case, our achievable scheme is an $α$-approximation algorithm where $α$ is the independence number of the graph. We also show that there exist graph classes for which the sufficient number of experiments is close to the lower bound. In the other extreme, there are graph classes for which the required number of experiments is multiplicatively $α$ away from our lower bound. In simulations, our algorithm almost always performs very close to the lower bound, while the approach based on separating systems for complete graphs is significantly worse for random chordal graphs.

研究动机与目标

• 最小化在每次干预最多影响k个变量的限制下，学习因果DAG所需的干预次数。
• 解决一个开放问题：自适应是否能在最坏情况下将干预次数减少到低于分离系统所需数量。
• 开发一种针对弦图因果图骨架的实用且高效的算法，使其性能接近理论下界。
• 为确定性和随机自适应算法建立更紧致的信息论下界和组合下界。
• 在随机弦图上，将新算法的性能与基于分离系统的现有方法进行比较。

提出的方法

• 证明任何确定性自适应算法在学习完整图时都必须使用(n,k)-分离系统，从而确立即使在自适应情况下分离系统也是必要的。
• 提出一种新的、更简单的(n,k)-分离系统构造方法，其大小接近已知下界，并具有更广泛的组合应用潜力。
• 推导出针对随机自适应算法的一般信息论下界Ω(n/(2k))，将先前结果扩展至干预规模受限的情形。
• 设计一种新颖的确定性自适应算法，用于弦图骨架，结合树状结构的利用与每次干预后迭代应用Meek规则。
• 以弦图骨架的色数χ(G)作为关键参数，通过α-近似（α为独立数）来界定所需干预次数。
• 采用基于完美消去序和诱导树的递归消除策略，以指导干预选择，从而在每次实验中最大化因果方向的发现效率。

实验结果

研究问题

• RQ1 对于完整图，自适应是否足以在最坏情况下将干预次数减少到低于分离系统要求？
• RQ2 能否为干预规模受限的情况开发一种更简单且近似最优的分离系统构造方法？
• RQ3 针对干预规模受限的随机自适应算法，干预次数的最紧信息论下界是什么？
• RQ4 基于弦图结构的新自适应算法在随机弦图上的性能与现有基于分离系统的算法相比如何？
• RQ5 是否存在某些图类，其所需干预次数接近下界，而另一些图类则显著更差？

主要发现

• 任何确定性自适应算法在学习完整图时都必须使用(n,k)-分离系统，证明即使在自适应情况下，最坏情况下的干预需求也无法低于非自适应分离系统的要求。
• 所提出的分离系统构造方法比以往构造更简单，且其大小接近已知下界，兼具实际与理论优势。
• 对于随机自适应算法，以高概率只需O(n/k log log k)次干预（每次规模不超过k），其信息论下界为Ω(n/(2k))。
• 在随机弦图上，当χ=100且k=10时，所提算法最多需要约40次干预，而朴素的基于分离系统的方案需要约130次，展现出显著的实证优势。
• 新算法的性能与基于χ(G)的理论下界仅相差一个常数因子，而基于分离系统的方案则随n/k增长，对于稀疏图而言远大于χ/k。
• 识别出两类极端图类：一类中干预次数接近下界，另一类中则为下界的Ω(α)倍，凸显了图结构在性能中的关键作用。