[論文レビュー] Testing Conditional Independence of Discrete Distributions

Clément L. Canonne, Ilias Diakonikolas+2 more|arXiv (Cornell University)|Nov 30, 2017

Bayesian Modeling and Causal Inference参考文献 4被引用数 9

ひとこと要約

本稿は、$[\ell_1] \times [\ell_2] \times [n]$ 上の離散分布における条件付き独立性の最初のサブリニア・サンプル・テストャを提示する。重み付きフラットネイング技術と、分布の多項式機能の最適不偏推定量を用いる。情報理論的下界と定数倍の違いまで一致するタイトなサンプル複雑性バウンドを確立し、分布テストにおける長年の未解決問題を解決する。

ABSTRACT

We study the problem of testing \emph{conditional independence} for discrete distributions. Specifically, given samples from a discrete random variable $(X, Y, Z)$ on domain $[\ell_1] imes[\ell_2] imes [n]$, we want to distinguish, with probability at least $2/3$, between the case that $X$ and $Y$ are conditionally independent given $Z$ from the case that $(X, Y, Z)$ is $ε$-far, in $\ell_1$-distance, from every distribution that has this property. Conditional independence is a concept of central importance in probability and statistics with a range of applications in various scientific domains. As such, the statistical task of testing conditional independence has been extensively studied in various forms within the statistics and econometrics communities for nearly a century. Perhaps surprisingly, this problem has not been previously considered in the framework of distribution property testing and in particular no tester with sublinear sample complexity is known, even for the important special case that the domains of $X$ and $Y$ are binary. The main algorithmic result of this work is the first conditional independence tester with {\em sublinear} sample complexity for discrete distributions over $[\ell_1] imes[\ell_2] imes [n]$. To complement our upper bounds, we prove information-theoretic lower bounds establishing that the sample complexity of our algorithm is optimal, up to constant factors, for a number of settings. Specifically, for the prototypical setting when $\ell_1, \ell_2 = O(1)$, we show that the sample complexity of testing conditional independence (upper bound and matching lower bound) is \[ Θ\left({\max\left(n^{1/2}/ε^2,\min\left(n^{7/8}/ε,n^{6/7}/ε^{8/7} ight) ight)} ight)\,. \]

研究の動機と目的

• サブリニア・サンプルのアルゴリズムを、分布の性質テストにおいて未解決であった条件付き独立性のテストに開発すること。
• 特に、$X,Y$ が二値の場合に有限サンプル解析が存在しなかったため、条件付き独立性テストのサンプル複雑性のギャップを埋めること。
• 離散分布における条件付き独立性のテストのためのサンプル複雑性のタイトな上界と下界を確立すること。
• 離散分布の多項式機能の推定に最適で不偏な推定量を設計し、タイトな分散解析を伴うこと。
• 情報理論的下界を証明するための新規なハードインスタンス構築法を考案すること。

提案手法

• [$\ell_1$-距離] の下で条件付き独立性テストを扱うために、[DK16] のフラットネイング技術を重み付きアプローチに適応すること。
• 分布 $p$ に対して $[n]$ 上の多項式機能 $Q(p_1, \dots, p_n)$ を、小さな加法的誤差で推定する最適な不偏推定量を設計すること。
• このような推定量のタイトな分散バウンドの一般理論を確立し、分布テストにおける主要な技術的障壁を克服すること。
• 相互情報量法を用いて下界を証明し、本研究の範囲を超えて有用な新規なハードインスタンスを構築すること。
• サンプリングにおける条件付き独立性とコリジョン解析を活用し、相互情報量をバウンドし、サンプル複雑性の下界を確立すること。
• サンプルデータにおける軽量コリジョンの確率を分析し、ハードインスタンスにおける $F=0$ と $F=1$ のケースの区別可能性をバウンドすること。

実験結果

リサーチクエスチョン

• RQ1 サブリニア・レジームにおける離散分布の条件付き独立性のテストの最適なサンプル複雑性は何か？
• RQ2 $X$ と $Y$ が二値であっても、従来の有限サンプル解析が存在しなかったにもかかわらず、サブリニア・サンプル・テストヤを構築できるか？
• RQ3 $[\ell_1] \times [\ell_2] \times [n]$ 上の離散分布における条件付き独立性のテストの、最もタイトな上界と下界のサンプル複雑性は何か？
• RQ4 サブリニア・サンプルを用いて、小さな分散と加法的誤差で離散分布の多項式機能を推定するにはどうすればよいか？
• RQ5 この問題のマッチング情報理論的下界を証明するために、どのような新規なハードインスタンス構築法が必要か？

主な発見

• 当該設定において $\ell_1, \ell_2 = O(1)$ のとき、条件付き独立性のテストのサンプル複雑性は $\Theta\left(\max\left(n^{1/2}/\varepsilon^2, \min\left(n^{7/8}/\varepsilon, n^{6/7}/\varepsilon^{8/7}\right)\right)\right)$ であり、定数倍の違いまで上界と下界が一致する。
• 提案されたテストヤはサブリニア・サンプル複雑性を達成し、分布の性質テスト分野における長年の未解決問題を解決する。
• 多項式機能推定量のタイトな分散バウンドの一般理論が開発され、分布テストの文脈における最適推定を可能にする。
• 相互情報量法が新規なハードインスタンス構築とともに適用され、サンプル複雑性が情報理論的に最適であることが証明された。
• 分析により、サンプルデータにおける軽量コリジョンの確率が $O(C / n^{1/2})$ であることが示され、これが相互情報量のバウンドと下界の証明に不可欠である。
• 本研究により、二値 $X$ と $Y$ に対しても、最適なサンプル複雑性を有するサブリニア・テストヤが存在することが確立され、文献におけるギャップが埋められた。