[论文解读] Interventional Experiment Design for Causal Structure Learning

AmirEmad Ghassami, Saber Salehkaleybar+1 more|arXiv (Cornell University)|Oct 12, 2019

Bayesian Modeling and Causal Inference参考文献 45被引用 4

一句话总结

本文提出了一种用于因果结构学习的非自适应干预设计框架，旨在最大化在因果DAG中识别出的有向边数量。该框架为树状结构的因果图引入了精确与近似算法，并通过子模优化和高效估计器将方法扩展至一般DAG，在预算约束下以高概率实现(1−1/e)近似保证。

ABSTRACT

It is known that from purely observational data, a causal DAG is identifiable only up to its Markov equivalence class, and for many ground truth DAGs, the direction of a large portion of the edges will be remained unidentified. The golden standard for learning the causal DAG beyond Markov equivalence is to perform a sequence of interventions in the system and use the data gathered from the interventional distributions. We consider a setup in which given a budget $k$, we design $k$ interventions non-adaptively. We cast the problem of finding the best intervention target set as an optimization problem which aims to maximize the number of edges whose directions are identified due to the performed interventions. First, we consider the case that the underlying causal structure is a tree. For this case, we propose an efficient exact algorithm for the worst-case gain setup, as well as an approximate algorithm for the average gain setup. We then show that the proposed approach for the average gain setup can be extended to the case of general causal structures. In this case, besides the design of interventions, calculating the objective function is also challenging. We propose an efficient exact calculator as well as two estimators for this task. We evaluate the proposed methods using synthetic as well as real data.

研究动机与目标

• 为在固定预算k次非自适应干预下，解决超越马尔可夫等价性的因果DAG学习挑战。
• 通过将问题建模为干预目标集合上的优化任务，最大化通过干预识别出的有向边数量。
• 为最坏情况与平均情况下的干预设计增益，特别是针对树状结构和一般因果图，开发高效算法。
• 通过精确计算器和无偏/高效估计器，实现一般DAG中目标函数的可扩展计算。
• 在子模目标函数条件下，建立近似性能的理论保证，包括在高概率下实现(1−1/e)近似。

提出的方法

• 将干预设计建模为优化问题，以最大化识别出的边方向数量，定义增益为每次干预新增定向边的数量。
• 针对树状结构图，提出一种用于最坏情况增益的精确算法，以及一种用于平均情况增益的近似贪心算法，利用目标函数的子模性。
• 证明平均情况增益函数具有单调性和子模性，从而支持使用贪心算法并获得理论近似边界。
• 通过引入高效精确计算器和两种估计器（无偏与快速启发式），将该框架扩展至一般DAG，以计算目标函数。
• 利用集中不等式和收敛性分析控制估计误差，确保贪心算法以高概率实现(1−1/e−ε)近似。
• 采用拒绝采样过程，通过检查v-结构和有向三元环，确保采样的DAG与真实图处于同一马尔可夫等价类中。

实验结果

研究问题

• RQ1 在因果DAG中，最优的k次非自适应干预集合是什么，能够最大化识别出的边方向数量？
• RQ2 如何在最坏情况与平均情况增益准则下，高效求解树状结构因果图的干预设计问题？
• RQ3 能否利用平均情况增益函数的子模结构，为一般DAG设计可扩展的近似算法？
• RQ4 在精确计算计算复杂度较高的情况下，如何高效计算或估计一般DAG情况下的目标函数？
• RQ5 在估计误差和有限样本条件下，所提出的贪心干预设计算法的理论近似保证是什么？

主要发现

• 所提出的贪心算法在估计误差ε′有界条件下，以高概率1−δ′实现(1−1/e−ε′)近似于最优干预集合。
• 针对树状结构因果图，提供了用于最坏情况增益的精确算法，以及用于平均情况增益的贪心近似算法，两者均利用了子模性。
• 证明了平均情况增益函数具有单调性和子模性，从而支持对贪心选择的理论性能保证。
• 针对一般DAG，提出了高效精确计算器和两种估计器（无偏与快速启发式），并为无偏估计器提供了收敛性分析。
• 在合成数据和真实数据上的实证评估证实，所提方法在预算约束下能有效识别出大量边方向。
• 在复杂图结构或从观测数据中部分识别出的图结构场景下，该方法在边方向识别增益上优于基线策略。