[논문 리뷰] Efficiently Learning and Sampling Interventional Distributions from Observations.

Arnab Bhattacharyya, Sutanu Gayen외 3명|arXiv (Cornell University)|2020. 02. 11.

Bayesian Modeling and Causal Inference인용 수 3

한 줄 요약

이 논문은 관찰 데이터를 사용하여 인과 베이지안 네트워크 내의 개입 분포를 추정하고 샘플링하기 위한 효율적인 알고리즘을 제시한다. 유한한 진입 차수와 c-성분 가정 하에, 샘플 복잡도는 $\tilde{O}(n\epsilon^{-2})$이며, 시간 복잡도는 $O(mn)$이다. 이 알고리즘은 총변동 거리 기준으로 진정한 개입 분포 $P_x$와 $\epsilon$ 이내로 근사하는 분포 $\hat{P}$를 출력하며, 확률 평가 및 샘플 생성 모두 $O(n)$의 시간이 소요된다.

ABSTRACT

We study the problem of efficiently estimating the effect of an intervention on a single variable (atomic interventions) using observational samples in a causal Bayesian network. Our goal is to give algorithms that are efficient in both time and sample complexity in a non-parametric setting. Tian and Pearl (AAAI `02) have exactly characterized the class of causal graphs for which causal effects of atomic interventions can be identified from observational data. We make their result quantitative. Suppose P is a causal model on a set $\vec{V}$ of n observable variables with respect to a given causal graph G with observable distribution $P$. Let $P_x$ denote the interventional distribution over the observables with respect to an intervention of a designated variable X with x. Assuming that $G$ has bounded in-degree, bounded c-components ($k$), and that the observational distribution is identifiable and satisfies certain strong positivity condition, we give an algorithm that takes $m= ilde{O}(n\epsilon^{-2})$ samples from $P$ and $O(mn)$ time, and outputs with high probability a description of a distribution $\hat{P}$ such that $d_{\mathrm{TV}}(P_x, \hat{P}) \leq \epsilon$, and: 1. [Evaluation] the description can return in $O(n)$ time the probability $\hat{P}(\vec{v})$ for any assignment $\vec{v}$ to $\vec{V}$ 2. [Generation] the description can return an iid sample from $\hat{P}$ in $O(n)$ time. We also show lower bounds for the sample complexity showing that our sample complexity has an optimal dependence on the parameters $n$ and $\epsilon$, as well as if $k=1$ on the strong positivity parameter.

연구 동기 및 목표

• 관찰 데이터를 사용하여 원자적 개입의 영향을 추정하기 위한 효율적인 알고리즘을 개발하는 것.
• 현실적인 구조적 및 정규성 가정 하에 비모수적 설정에서 낮은 샘플 및 시간 복잡도를 달성하는 것.
• 추정된 분포가 확률 평가와 독립적인 샘플 생성을 모두 빠르게 지원하도록 보장하는 것.
• 총변동 거리 기준으로 근사 정확도에 대한 이론적 보장을 제공하는 것.
• 제안된 방법의 최적성 증명을 위해 샘플 복잡도에 대한 날카로운 하한을 설정하는 것.

제안 방법

• 알고리즘은 $n$개의 관측 가능 변수를 가진 인과 모델 $P$로부터의 관찰 샘플을 사용하여 변수 $X$에 대한 원자적 개입 하의 개입 분포 $P_x$에 대한 추정치 $\hat{P}$를 구성한다.
• 구조적 제약 조건인 인과 그래프 $G$의 유한한 진입 차수와 유한한 c-성분($k$)을 가정하여 식별 가능성과 효율성을 확보한다.
• 신뢰할 수 있는 반대가치 확률 추정을 위해 관찰 분포에 강한 정규성 조건을 도입한다.
• 모든 관측 가능 변수에 대한 할당 $\vec{v}$에 대해 $\hat{P}(\vec{v})$를 $O(n)$ 시간 내에 평가할 수 있는 $\hat{P}$의 기술을 구성한다.
• 또한 $\hat{P}$에서 독립적이고 동일하게 분포된 샘플을 $O(n)$ 시간 내에 생성할 수 있도록 보장한다. 이는 후속 추론 작업에 매우 중요하다.
• 알고리즘은 Tian과 Pearl(2002)의 식별성 프레임워크를 활용하며, 명시적인 샘플 및 시간 복잡도 하한을 제공함으로써 이 프레임워크를 정량화한다.

실험 결과

연구 질문

• RQ1 관찰 데이터로부터 $n$과 $\epsilon$에 대해 효율적으로 스케일링되는 샘플 복잡도로 개입 분포 $P_x$를 추정할 수 있는가?
• RQ2 비모수적 인과 모델에서 개입 분포에 대해 총변동 거리 기준으로 $\epsilon$-정확도를 달성하기 위해 필요한 최소 샘플 복잡도는 얼마인가?
• RQ3 확률 평가와 추정된 개입 분포에서의 샘플 생성을 모두 빠르게 지원하는 알고리즘을 설계할 수 있는가?
• RQ4 특히 유한한 진입 차수와 유한한 c-성분을 갖는 인과 그래프의 구조는 추정의 가능성과 효율성에 어떻게 영향을 미치는가?
• RQ5 제안된 샘플 복잡도는 최적이며, 강한 정규성 파라미터에 따라 어떻게 달라지는가?

주요 결과

• 알고리즘은 $\tilde{O}(n\epsilon^{-2})$의 샘플 복잡도와 $O(mn)$의 시간 복잡도를 달성한다. 여기서 $m$은 샘플 수이다.
• 추정된 분포 $\hat{P}$는 높은 확률로 $d_{\mathrm{TV}}(P_x, \hat{P}) \leq \epsilon$을 만족한다.
• 모든 할당 $\vec{v}$에 대해 $\hat{P}(\vec{v})$를 $O(n)$ 시간 내에 평가할 수 있는 $\hat{P}$의 기술을 제공한다.
• 이 기술은 $\hat{P}$에서 독립적이고 동일하게 분포된 샘플을 $O(n)$ 시간 내에 생성할 수 있도록 지원한다.
• 샘플 복잡도는 $n$과 $\epsilon$에 대한 의존성에서 최적이며, 강한 정규성 파라미터에서 $k=1$일 때도 최적이다.
• 하한은 인과 그래프나 정규성 조건에 대한 가정을 완화하지 않는 한 샘플 복잡도를 향상시킬 수 없다고 확인한다.