[論文レビュー] Efficiently Learning and Sampling Interventional Distributions from Observations.

Arnab Bhattacharyya, Sutanu Gayen+3 more|arXiv (Cornell University)|Feb 11, 2020

Bayesian Modeling and Causal Inference被引用数 3

ひとこと要約

本稿では、観測データを用いて因果ベイジアンネットワークにおける介入分布の推定とサンプリングを行うための効率的なアルゴリズムを提示する。有界なインデグリーレートおよびcコンポonentの仮定の下で、$\tilde{O}(n\epsilon^{-2})$ のサンプル複雑度と $O(mn)$ の時間計算量を達成し、$O(n)$ の時間で評価とサンプル生成が可能である。出力される分布 $\hat{P}$ は、全 Variation 距離において真の介入分布 $P_x$ を $\epsilon$ 以内で近似する。

ABSTRACT

We study the problem of efficiently estimating the effect of an intervention on a single variable (atomic interventions) using observational samples in a causal Bayesian network. Our goal is to give algorithms that are efficient in both time and sample complexity in a non-parametric setting. Tian and Pearl (AAAI `02) have exactly characterized the class of causal graphs for which causal effects of atomic interventions can be identified from observational data. We make their result quantitative. Suppose P is a causal model on a set $\vec{V}$ of n observable variables with respect to a given causal graph G with observable distribution $P$. Let $P_x$ denote the interventional distribution over the observables with respect to an intervention of a designated variable X with x. Assuming that $G$ has bounded in-degree, bounded c-components ($k$), and that the observational distribution is identifiable and satisfies certain strong positivity condition, we give an algorithm that takes $m= ilde{O}(n\epsilon^{-2})$ samples from $P$ and $O(mn)$ time, and outputs with high probability a description of a distribution $\hat{P}$ such that $d_{\mathrm{TV}}(P_x, \hat{P}) \leq \epsilon$, and: 1. [Evaluation] the description can return in $O(n)$ time the probability $\hat{P}(\vec{v})$ for any assignment $\vec{v}$ to $\vec{V}$ 2. [Generation] the description can return an iid sample from $\hat{P}$ in $O(n)$ time. We also show lower bounds for the sample complexity showing that our sample complexity has an optimal dependence on the parameters $n$ and $\epsilon$, as well as if $k=1$ on the strong positivity parameter.

研究の動機と目的

• 観測データを用いて因果ベイジアンネットワークにおける原子的介入の効果を推定するための効率的アルゴリズムを開発すること。
• 現実的な構造的および正の性質の仮定の下で、非パラメトリックな設定において低サンプル複雑度と低時間計算量を達成すること。
• 推定された分布が、確率の評価を高速に行うことができるとともに、独立したサンプルの効率的生成を可能にすること。
• 全 Variation 距離の観点から、近似の正確性に関する理論的保証を提供すること。
• 提案手法の最適性を示すために、サンプル複雑度に対するタイトな下界を確立すること。

提案手法

• アルゴリズムは、$n$ 個の観測可能な変数を持つ因果モデル $P$ からの観測サンプルを用い、変数 $X$ における原子的介入の下での介入分布 $P_x$ の推定値 $\hat{P}$ を構築する。
• 識別可能性と効率性を保証するため、因果グラフ $G$ の構造的制約（有界なインデグリーレートおよび有界なcコンポーネント（$k$））に依存する。
• 反事後確率の信頼性ある推定を保証するため、観測分布に対して強い正の性質の条件を課す。
• 任意の割り当て $\vec{v}$ に対して $\hat{P}(\vec{v})$ の評価を $O(n)$ 時間で行えるように、$\hat{P}$ の記述を構築する。
• また、$\hat{P}$ からの独立同一分布に従うサンプルの生成も $O(n)$ 時間で可能であり、これは下流の推論タスクにとって重要である。
• アルゴリズムは Tian と Pearl (2002) の識別可能性フレームワークを基盤とし、明示的なサンプル複雑度および時間計算量の上限を提供することで、それを定量化する。

実験結果

リサーチクエスチョン

• RQ1 サンプル複雑度が $n$ および $\epsilon$ に対して効率的にスケーリングするように、観測データから介入分布 $P_x$ を推定することは可能か？
• RQ2 非パラメトリックな因果モデルにおける介入分布の $\epsilon$-精度（全 Variation 距離の意味で）を達成するために、最小限のサンプル複雑度は何か？
• RQ3 確率の評価と推定された介入分布からのサンプル生成の両方を高速に行えるアルゴリズムを設計することは可能か？
• RQ4 因果グラフの構造、特に有界なインデグリーレートおよび有界なcコンポーネントが、推定の可能性と効率性にどのように影響するか？
• RQ5 提案されたサンプル複雑度は最適であり、強正の性質パラメータにどのように依存するか？

主な発見

• アルゴリズムは $\tilde{O}(n\epsilon^{-2})$ のサンプル複雑度と $O(mn)$ の時間計算量を達成する。ここで $m$ はサンプル数を表す。
• 推定された分布 $\hat{P}$ は、高確率で $d_{\mathrm{TV}}(P_x, \hat{P}) \leq \epsilon$ を満たす。
• 任意の割り当て $\vec{v}$ に対して、$\hat{P}(\vec{v})$ の評価が $O(n)$ 時間で可能である。
• $\hat{P}$ からの独立同一分布に従うサンプルの生成も $O(n)$ 時間で可能である。
• サンプル複雑度は $n$ および $\epsilon$ に対する依存性において最適であり、また強正の性質パラメータで $k=1$ の場合にも最適である。
• 下界の結果により、因果グラフの仮定や正の性質条件を緩和しない限り、サンプル複雑度を改善することは不可能であることが確認された。