[论文解读] Efficiently Learning and Sampling Interventional Distributions from Observations.

Arnab Bhattacharyya, Sutanu Gayen+3 more|arXiv (Cornell University)|Feb 11, 2020

Bayesian Modeling and Causal Inference被引用 3

一句话总结

该论文提出了一种高效算法，利用观测数据估计并从因果贝叶斯网络中的干预分布进行抽样。在有界入度和c-分量假设下，该算法实现了 $\tilde{O}(n\tilde{\epsilon}^{-2})$ 的样本复杂度和 $O(mn)$ 的时间复杂度，输出一个分布 $\hat{P}$，其在总变差距离下对真实干预分布 $P_x$ 的近似误差在 $\epsilon$ 以内，且评估和生成样本的时间均为 $O(n)$。

ABSTRACT

We study the problem of efficiently estimating the effect of an intervention on a single variable (atomic interventions) using observational samples in a causal Bayesian network. Our goal is to give algorithms that are efficient in both time and sample complexity in a non-parametric setting. Tian and Pearl (AAAI `02) have exactly characterized the class of causal graphs for which causal effects of atomic interventions can be identified from observational data. We make their result quantitative. Suppose P is a causal model on a set $\vec{V}$ of n observable variables with respect to a given causal graph G with observable distribution $P$. Let $P_x$ denote the interventional distribution over the observables with respect to an intervention of a designated variable X with x. Assuming that $G$ has bounded in-degree, bounded c-components ($k$), and that the observational distribution is identifiable and satisfies certain strong positivity condition, we give an algorithm that takes $m= ilde{O}(n\epsilon^{-2})$ samples from $P$ and $O(mn)$ time, and outputs with high probability a description of a distribution $\hat{P}$ such that $d_{\mathrm{TV}}(P_x, \hat{P}) \leq \epsilon$, and: 1. [Evaluation] the description can return in $O(n)$ time the probability $\hat{P}(\vec{v})$ for any assignment $\vec{v}$ to $\vec{V}$ 2. [Generation] the description can return an iid sample from $\hat{P}$ in $O(n)$ time. We also show lower bounds for the sample complexity showing that our sample complexity has an optimal dependence on the parameters $n$ and $\epsilon$, as well as if $k=1$ on the strong positivity parameter.

研究动机与目标

• 开发一种高效算法，利用观测数据估计因果贝叶斯网络中原子干预的效果。
• 在现实的结构和正性假设下，实现在非参数设定中的低样本复杂度和低时间复杂度。
• 确保估计的分布支持概率的快速评估和独立样本的高效生成。
• 在总变差距离的意义下，为近似精度提供理论保证。
• 建立样本复杂度的紧致下界，以证明所提方法的最优性。

提出的方法

• 该算法使用来自因果模型 $P$ 的观测样本（$n$ 个可观测变量）来构建对原子干预下变量 $X$ 的干预分布 $P_x$ 的估计 $\hat{P}$。
• 它依赖于因果图 $G$ 的结构约束，假设入度有界且c-分量有界（$k$），以确保可识别性和效率。
• 对观测分布施加强正性条件，以确保反事实概率的可靠估计。
• 它构建了 $\hat{P}$ 的描述，使得对任何可观测变量赋值 $\vec{v}$，$\hat{P}(\vec{v})$ 的评估可在 $O(n)$ 时间内完成。
• 同时，它支持在 $O(n)$ 时间内从 $\hat{P}$ 生成独立同分布的样本，这对下游推理任务至关重要。
• 该算法利用 Tian 和 Pearl（2002）的可识别性框架，并通过提供明确的样本复杂度和时间复杂度界，使其具有量化性。

实验结果

研究问题

• RQ1 我们能否从观测数据中以在 $n$ 和 $\epsilon$ 上高效扩展的样本复杂度来估计干预分布 $P_x$？
• RQ2 在非参数因果模型中，实现总变差距离下 $\epsilon$-精度的干预分布，其最小样本复杂度是多少？
• RQ3 我们能否设计一种算法，同时支持对估计干预分布的概率的快速评估和样本的快速生成？
• RQ4 因果图的结构——特别是有界入度和有界c-分量——如何影响估计的可行性和效率？
• RQ5 所提样本复杂度是否最优？它如何依赖于强正性参数？

主要发现

• 该算法实现了 $\tilde{O}(n\epsilon^{-2})$ 的样本复杂度和 $O(mn)$ 的时间复杂度，其中 $m$ 为样本数量。
• 估计分布 $\hat{P}$ 几乎必然满足 $d_{\mathrm{TV}}(P_x, \hat{P}) \leq \epsilon$。
• 对 $\hat{P}$ 的描述使得对任意赋值 $\vec{v}$ 的 $\hat{P}(\vec{v})$ 评估可在 $O(n)$ 时间内完成。
• 该描述支持在 $O(n)$ 时间内从 $\hat{P}$ 生成独立同分布的样本。
• 样本复杂度在 $n$ 和 $\epsilon$ 的依赖关系上是最优的，且在强正性参数 $k=1$ 时也达到最优。
• 下界分析证实，若不放松对因果图或正性条件的假设，样本复杂度无法进一步改进。