[论文解读] Learning and Testing Causal Models with Interventions

Jayadev Acharya, Arnab Bhattacharyya+2 more|arXiv (Cornell University)|May 24, 2018

Bayesian Modeling and Causal Inference参考文献 50被引用 12

一句话总结

本文提出了使用干预手段测试和学习因果贝叶斯网络（CBNs）的高效算法，表明 O(log n) 次干预和 Õ(n/ε²) 次样本/次干预足以区分未知 CBN 是否与已知模型在总变差距离上显著不同。关键贡献在于提出了一种新的平方 Hellinger 距离 subadditivity 不等式，该不等式使具有有界入度和有界混淆成分的 CBN 实现非自适应、样本和干预效率高的学习与测试。

ABSTRACT

We consider testing and learning problems on causal Bayesian networks as defined by Pearl (Pearl, 2009). Given a causal Bayesian network $\mathcal{M}$ on a graph with $n$ discrete variables and bounded in-degree and bounded `confounded components', we show that $O(\log n)$ interventions on an unknown causal Bayesian network $\mathcal{X}$ on the same graph, and $ ilde{O}(n/ε^2)$ samples per intervention, suffice to efficiently distinguish whether $\mathcal{X}=\mathcal{M}$ or whether there exists some intervention under which $\mathcal{X}$ and $\mathcal{M}$ are farther than $ε$ in total variation distance. We also obtain sample/time/intervention efficient algorithms for: (i) testing the identity of two unknown causal Bayesian networks on the same graph; and (ii) learning a causal Bayesian network on a given graph. Although our algorithms are non-adaptive, we show that adaptivity does not help in general: $Ω(\log n)$ interventions are necessary for testing the identity of two unknown causal Bayesian networks on the same graph, even adaptively. Our algorithms are enabled by a new subadditivity inequality for the squared Hellinger distance between two causal Bayesian networks.

研究动机与目标

• 开发在可观测和干预数据均可用时，测试和学习因果贝叶斯网络（CBNs）的高效算法。
• 解决因果模型中的隐性混淆问题，即未观测变量影响多个可观测变量，导致虚假关联。
• 为身份测试和 CBN 学习所需的干预次数建立紧致界限，即使存在混淆成分也成立。
• 证明自适应性不会改善干预复杂度，即使在一般条件下，身份测试的干预复杂度也存在 Ω(log n) 的下界。

提出的方法

• 提出一种新的平方 Hellinger 距离 subadditivity 不等式，用于两个 CBN 之间，该不等式使高效统计测试与学习成为可能。
• 设计非自适应算法，使用 O(log n) 次干预和 Õ(n/ε²) 次样本/次干预，以测试未知 CBN 在总变差距离上是否与已知模型 ε-远离。
• 使用递归约化框架简化表示 CBN 的程序，应用依赖集约化、Y-R 约化和 R-消去法，以界定优化值。
• 应用递归优化论证，推导出程序最优值的下界，从而得出关键不等式 Opt(P_{r,p}) ≥ (1 - |Σ|^L γ)^p。
• 利用具有有界入度和有界混淆成分的 CBN 的结构特性，确保可扩展性和效率。
• 通过建立 Ω(log n) 的下界，证明自适应性不会改善干预复杂度，即使采用自适应策略，身份测试的干预复杂度也存在 Ω(log n) 的下界。

实验结果

研究问题

• RQ1 我们能否使用少量干预和样本，测试未知因果贝叶斯网络是否与已知模型 ε-接近？
• RQ2 在存在混淆成分的情况下，学习或测试 CBN 所需的最少干预次数是多少？
• RQ3 自适应性是否能提供可证明的优势，以减少因果模型测试所需的干预次数？
• RQ4 我们能否为 CBN 中的 Hellinger 距离建立一个通用的 subadditivity 性质，以实现高效的统计推断？
• RQ5 在相同图上区分两个未知 CBN 所需的干预次数的根本限制是什么？

主要发现

• O(log n) 次干预和 Õ(n/ε²) 次样本/次干预足以测试未知 CBN 在总变差距离上是否与已知模型 ε-远离。
• 所提出的算法为非自适应，且自适应性不会改善干预复杂度，因为即使采用自适应策略，身份测试也至少需要 Ω(log n) 次干预。
• 建立了一种新的 CBN 之间平方 Hellinger 距离 subadditivity 不等式，这是算法效率和理论分析的核心。
• 该方法通过相同的干预和样本复杂度，实现了在有界入度和有界混淆成分图上的 CBN 高效学习。
• 对于在相同图上两个未知 CBN 的身份测试，同样适用 O(log n) 次干预和 Õ(n/ε²) 次样本复杂度，且干预次数存在匹配的 Ω(log n) 下界。
• 分析依赖于一种递归程序约化框架，该框架界定了约束优化程序的最优值，从而导出关键不等式 Opt(P_{r,p}) ≥ (1 - |Σ|^L γ)^p。