[论文解读] Model-Powered Conditional Independence Test

Rajat Sen, Ananda Theertha Suresh+3 more|arXiv (Cornell University)|Sep 18, 2017

Statistical Methods and Inference参考文献 1被引用 25

一句话总结

该论文提出了一种基于模型的条件独立性检验方法（CCIT），将条件独立性检验重新构建成一个二分类问题，利用梯度提升树和深度神经网络等强大分类器进行求解。通过引入一种新颖的近邻自展法来生成来自条件乘积分布的样本，CCIT 在高维设置下显著优于以往方法，且在样本质量与分类器泛化误差方面提供了理论保证。

ABSTRACT

We consider the problem of non-parametric Conditional Independence testing (CI testing) for continuous random variables. Given i.i.d samples from the joint distribution $f(x,y,z)$ of continuous random vectors $X,Y$ and $Z,$ we determine whether $X \perp Y | Z$. We approach this by converting the conditional independence test into a classification problem. This allows us to harness very powerful classifiers like gradient-boosted trees and deep neural networks. These models can handle complex probability distributions and allow us to perform significantly better compared to the prior state of the art, for high-dimensional CI testing. The main technical challenge in the classification problem is the need for samples from the conditional product distribution $f^{CI}(x,y,z) = f(x|z)f(y|z)f(z)$ -- the joint distribution if and only if $X \perp Y | Z.$ -- when given access only to i.i.d. samples from the true joint distribution $f(x,y,z)$. To tackle this problem we propose a novel nearest neighbor bootstrap procedure and theoretically show that our generated samples are indeed close to $f^{CI}$ in terms of total variational distance. We then develop theoretical results regarding the generalization bounds for classification for our problem, which translate into error bounds for CI testing. We provide a novel analysis of Rademacher type classification bounds in the presence of non-i.i.d near-independent samples. We empirically validate the performance of our algorithm on simulated and real datasets and show performance gains over previous methods.

研究动机与目标

• 解决在高维设置下对连续随机变量进行非参数条件独立性检验的挑战。
• 克服仅能获得真实联合分布的独立同分布样本时，难以从条件乘积分布 $f^{CI}(x,y,z) = f(x|z)f(y|z)f(z)$ 中生成样本的问题。
• 利用现代监督学习模型（如梯度提升树和深度神经网络）以提升条件独立性检验的性能。
• 为自展样本的质量与分类器泛化误差提供理论保证。
• 在合成数据与真实世界数据集上对方法进行实证验证，证明其在条件独立性检验中达到最先进性能。

提出的方法

• 将条件独立性检验问题转化为二分类任务：区分原始独立同分布样本与来自条件乘积分布的合成样本。
• 使用近邻自展程序，仅基于原始的 $2n$ 个独立同分布样本，生成 $n$ 个来自 $f^{CI}(x,y,z)$ 的合成样本，确保生成样本在总变差距离上接近 $f^{CI}$。
• 将原始样本标记为 1（依赖），将自展生成的样本标记为 0（条件独立），构成分类器的训练数据集。
• 在标记数据集上训练强大的分类器（如 XGBoost 或深度神经网络），以学习两类分布之间的差异。
• 将训练后分类器的测试误差作为检验统计量：低误差拒绝 $\mathcal{H}_0$（即 $X \not\perp Y|Z$），高误差则无法拒绝 $\mathcal{H}_0$。
• 在近似独立但非独立同分布样本下，为分类问题提供理论风险界，进而转化为条件独立性检验的误差界。

实验结果

研究问题

• RQ1 基于监督学习的模型驱动方法是否能提升高维设置下非参数条件独立性检验的检验力与准确性？
• RQ2 当仅能获得真实联合分布的独立同分布样本时，如何高效地从条件乘积分布 $f^{CI}(x,y,z)$ 中生成样本？
• RQ3 在非独立同分布采样条件下，能否为自展样本的质量与分类器泛化误差提供理论保证？
• RQ4 与现有条件独立性检验方法（如 RCIT、KCIT 和 CCIT）相比，所提方法在不同维度与样本量下的统计检验力与鲁棒性如何？
• RQ5 在验证存在不确定真实因果结构的因果关系时，该方法在真实世界数据（如流式细胞术数据集）上的表现如何？

主要发现

• 在基于流式细胞术数据集导出的三个因果图上，所提出的 CCIT 方法在所有图中均取得高于 RCIT 和 KCIT 的 ROC AUC 分数，分别为 0.7778（图 ii）、0.7156（图 iii）和 0.6848（图 i）。
• 在 $n=1000$ 样本的合成后非线性噪声数据上，CCIT 在所有测试的 $Z$ 维度下均优于 RCIT 和 KCIT，展现出在高维条件独立性检验中的持续优越性。
• 近邻自展程序成功生成了在总变差距离上接近 $f^{CI}$ 的样本，该结果在理论上得到证明，并通过实证验证。
• 理论分析为在非独立同分布近似独立样本下的分类问题建立了泛化误差界，为检验的误差控制提供了严谨基础。
• 即使真实因果图中存在潜在错误（如冗余边 (pkc-raf)、(pkc-mek) 和 (pka-p38)），该方法仍表现出稳健性能，所有三种 CI 检测器均一致地拒绝这些边。
• 当条件集 $Z$ 的维度小于 10 时，该算法仍保持优异性能，表明其在中等至高维设置下的有效性。