[논문 리뷰] Testing Conditional Independence of Discrete Distributions

Clément L. Canonne, Ilias Diakonikolas외 2명|arXiv (Cornell University)|2017. 11. 30.

Bayesian Modeling and Causal Inference참고 문헌 4인용 수 9

한 줄 요약

이 논문은 $[\ell_1] \times [\ell_2] \times [n]$에서 이산 분포에 대한 조건부 독립성을 검증하기 위한 최초의 서브라인어 샘플 테스터를 제시한다. 이는 가중 침탄 기법과 분포의 다항 함수성능에 대한 최적의 비편향 추정기 기반이다. 이는 정보 이론적 하한선과 상수 인자까지 일치하는 날카로운 샘플 복잡도 한계를 확립하여, 분포 테스팅 분야에서 오랫동안 미해결된 문제를 해결한다.

ABSTRACT

We study the problem of testing \emph{conditional independence} for discrete distributions. Specifically, given samples from a discrete random variable $(X, Y, Z)$ on domain $[\ell_1] imes[\ell_2] imes [n]$, we want to distinguish, with probability at least $2/3$, between the case that $X$ and $Y$ are conditionally independent given $Z$ from the case that $(X, Y, Z)$ is $ε$-far, in $\ell_1$-distance, from every distribution that has this property. Conditional independence is a concept of central importance in probability and statistics with a range of applications in various scientific domains. As such, the statistical task of testing conditional independence has been extensively studied in various forms within the statistics and econometrics communities for nearly a century. Perhaps surprisingly, this problem has not been previously considered in the framework of distribution property testing and in particular no tester with sublinear sample complexity is known, even for the important special case that the domains of $X$ and $Y$ are binary. The main algorithmic result of this work is the first conditional independence tester with {\em sublinear} sample complexity for discrete distributions over $[\ell_1] imes[\ell_2] imes [n]$. To complement our upper bounds, we prove information-theoretic lower bounds establishing that the sample complexity of our algorithm is optimal, up to constant factors, for a number of settings. Specifically, for the prototypical setting when $\ell_1, \ell_2 = O(1)$, we show that the sample complexity of testing conditional independence (upper bound and matching lower bound) is \[ Θ\left({\max\left(n^{1/2}/ε^2,\min\left(n^{7/8}/ε,n^{6/7}/ε^{8/7} ight) ight)} ight)\,. \]

연구 동기 및 목표

• 분포 성질 테스팅 분야에서 이전에 다루지 않은 바, 이산 분포에서의 조건부 독립성 검증을 위한 서브라인어 샘플 알고리즘을 개발하는 것.
• 특히 $X,Y$가 이진일 경우에 대해 유한 샘플 분석이 존재하지 않았던 조건부 독립성 테스팅의 샘플 복잡도 격차를 메우는 것.
• 이산 분포에서의 조건부 독립성 테스팅을 위한 샘플 복잡도에 대한 날카로운 상한과 하한을 확립하는 것.
• 이산 분포의 다항 함수성능을 추정하기 위한 최적의 비편향 추정기와 날카로운 분산 분석을 설계하는 것.
• 정보 이론적 하한선을 증명하기 위해 새로운 딱딱한 사례 구축 기법을 개발하는 것.

제안 방법

• [$\ell_1$-거리 기준] 조건부 독립성 테스팅을 다루기 위해 [DK16]의 침탄 기법을 가중치 방식으로 수정한 것.
• 분포 $p$가 $[n]$에 정의되어 있을 때, 차수 $d$의 다항 함수성능 $Q(p_1, \dots, p_n)$을 작은 덧셈 오차로 추정하기 위한 최적의 비편향 추정기를 설계한 것.
• 이러한 추정기의 날카로운 분산 한계를 확립하는 일반 이론을 수립하여, 분포 테스팅 분야에서의 주요 기술적 과제를 극복한 것.
• 상호정보량 방법을 사용하여 하한을 증명하고, 본 연구를 넘어서도 유용한 새로운 딱딱한 사례를 구축한 것.
• 샘플링 과정에서의 조건부 독립성과 충돌 분석을 활용하여 상호정보량을 유계화하고 샘플 복잡도 하한을 확립한 것.
• 샘플 데이터에서의 가벼운 충돌 확률을 분석하여, 딱딱한 사례에서 $F=0$과 $F=1$의 경우를 구별할 수 있는 능력을 유계화한 것.

실험 결과

연구 질문

• RQ1 서브라인어 영역에서 이산 분포의 조건부 독립성 검증을 위한 최적의 샘플 복잡도는 무엇인가?
• RQ2 이전에 유한 샘플 분석이 존재하지 않았음에도 불구하고, $X$와 $Y$가 이진일 경우에 서브라인어 샘플 테스터를 구성할 수 있는가?
• RQ3 이산 분포에서의 조건부 독립성 테스팅을 위한 샘플 복잡도에 대한 최대한의 상한과 하한은 무엇인가? ($[\ell_1] \times [\ell_2] \times [n]$에서)
• RQ4 서브라인어 샘플을 사용하여 다항 함수성능을 작은 분산과 덧셈 오차로 추정하는 방법은 무엇인가?
• RQ5 이 문제에 대해 정보 이론적 하한선을 증명하기 위해 필요한 새로운 딱딱한 사례 구축 기법은 무엇인가?

주요 결과

• 일부 $\ell_1, \ell_2 = O(1)$ 조건 하에서, 조건부 독립성 검증의 샘플 복잡도는 $\Theta\left(\max\left(n^{1/2}/\varepsilon^2, \min\left(n^{7/8}/\varepsilon, n^{6/7}/\varepsilon^{8/7}\right)\right)\right)$이며, 상수 인자까지 상한과 하한이 일치한다.
• 제안된 테스터는 서브라인어 샘플 복잡도를 달성하여, 분포 성질 테스팅 분야에서 오랫동안 미해결이었던 문제를 해결한다.
• 다항 함수성능 추정기의 날카로운 분산 한계를 다루는 일반 이론이 개발되어, 분포 테스팅 맥락에서 최적의 추정이 가능해졌다.
• 상호정보량 방법을 새로운 딱딱한 사례와 함께 적용하여 샘플 복잡도가 정보 이론적으로 최적이었음을 증명하였다.
• 분석 결과, 샘플 데이터에서의 가벼운 충돌 확률은 $O(C / n^{1/2})$임을 보였으며, 이는 상호정보량 유계화 및 하한 증명에 핵심적인 역할을 한다.
• 이론적으로 이진 $X$와 $Y$에 대해서도 서브라인어 테스터가 존재하고 최적의 샘플 복잡도를 가짐을 입증하여 문헌의 격차를 메웠다.