[论文解读] Mimic and Classify : A meta-algorithm for Conditional Independence Testing

Rajat Sen, Karthikeyan Shanmugam+3 more|arXiv (Cornell University)|Jun 25, 2018

Machine Learning and Data Classification参考文献 3被引用 8

一句话总结

该论文提出了一种名为 'Mimic and Classify' 的元算法用于条件独立性检验，该方法首先利用深度生成模型（如条件 GAN 或神经网络回归器）生成接近条件独立（CI）分布的分布，然后使用分类器将真实联合分布与 CI 分布区分开来。该方法在合成数据集和真实世界数据集上均取得了当前最优的性能表现，包括在高维数据（$d_z = 300$）上的 AUC 分数最高达 0.835，同时提供了对原假设分布的理论保证，并能处理一般概率测度。

ABSTRACT

Given independent samples generated from the joint distribution $p(\mathbf{x},\mathbf{y},\mathbf{z})$, we study the problem of Conditional Independence (CI-Testing), i.e., whether the joint equals the CI distribution $p^{CI}(\mathbf{x},\mathbf{y},\mathbf{z})= p(\mathbf{z}) p(\mathbf{y}|\mathbf{z})p(\mathbf{x}|\mathbf{z})$ or not. We cast this problem under the purview of the proposed, provable meta-algorithm, "Mimic and Classify", which is realized in two-steps: (a) Mimic the CI distribution close enough to recover the support, and (b) Classify to distinguish the joint and the CI distribution. Thus, as long as we have a good generative model and a good classifier, we potentially have a sound CI Tester. With this modular paradigm, CI Testing becomes amiable to be handled by state-of-the-art, both generative and classification methods from the modern advances in Deep Learning, which in general can handle issues related to curse of dimensionality and operation in small sample regime. We show intensive numerical experiments on synthetic and real datasets where new mimic methods such conditional GANs, Regression with Neural Nets, outperform the current best CI Testing performance in the literature. Our theoretical results provide analysis on the estimation of null distribution as well as allow for general measures, i.e., when either some of the random variables are discrete and some are continuous or when one or more of them are discrete-continuous mixtures.

研究动机与目标

• 为解决现有条件独立性检验（CIT）方法在高维设置、小样本场景以及混合离散-连续变量情况下的局限性。
• 开发一种模块化、可证明正确的框架，将分布模拟与分类任务解耦，从而能够灵活集成最先进的生成模型与判别模型。
• 对所提框架下的原假设分布提供理论分析，确保统计推断的有效性。
• 实现在一般概率测度下的有效条件独立性检验，包括离散与连续随机变量的混合。
• 提升在真实世界因果推断任务中的表现，如基因调控网络推断与蛋白质信号传导网络验证。

提出的方法

• 该方法分为两个阶段：首先，利用深度生成模型（如条件 GAN 或基于神经网络的回归）模拟 CI 分布 $p^{CI}(\mathbf{x},\mathbf{y},\mathbf{z}) = p(\mathbf{z})p(\mathbf{y}|\mathbf{z})p(\mathbf{x}|\mathbf{z})$。
• 其次，训练一个二分类器以区分来自真实分布 $p(\mathbf{x},\mathbf{y},\mathbf{z})$ 的样本与来自模拟的 $p^{CI}$ 分布的生成样本。
• 该框架设计为模块化结构，支持灵活集成现代深度学习模型用于模拟与分类两个步骤。
• 理论分析确保了检验统计量的原假设分布被良好近似，从而在 $\mathcal{H}_0$ 下可提供有效的 p 值。
• 通过避免依赖密度估计，该方法能够处理一般测度（包括混合离散-连续变量）。
• 通过在合成数据、流式细胞术数据以及 DREAM 基因调控网络数据集上评估 AUC 分数，对方法进行了评估。

实验结果

研究问题

• RQ1 结合分布模拟与分类的两阶段元算法是否能在高维和小样本场景下超越现有非参数 CIT 方法？
• RQ2 即使在高维条件集下，条件 GAN 和神经网络回归器是否仍能有效模拟 CI 分布？
• RQ3 Mimic and Classify 框架是否能提供有效的统计推断，并对原假设分布提供可证明的理论保证？
• RQ4 该方法在包含混合离散-连续变量的真实世界数据集（如基因调控网络与蛋白质信号传导网络）上的表现如何？
• RQ5 该框架是否可推广至一般概率测度（而不仅限于密度）下使用？

主要发现

• MIMIFY-REG 在流式细胞术数据集上取得了 0.7638 的 AUC 分数，优于所有基线方法，包括 KCIT 和 CCIT。
• 在 $d_z = 300$ 的合成后非线性数据上，MIMIFY-GAN 取得了 0.835 的 AUC 分数，显著优于 RCIT 和 KCIT，后者因计算成本过高而无法运行。
• 在 DREAM 基因调控网络数据集上，MIMIFY-REG 取得了 0.61645 的 AUC 分数，超过 RCIT（0.53511）和 CCIT（0.42439）。
• 该方法在高维设置下表现出强鲁棒性，MIMIFY-GAN 即使在 $d_z = 300$ 时仍保持优异性能，而 KCIT 因计算不可行而无法执行。
• 理论分析证实，在该框架下，检验统计量的原假设分布被良好近似，从而支持有效的假设检验。
• 该框架成功处理了一般测度，包括混合离散-连续变量，且无需依赖密度估计或核带宽调参。