[论文解读] Double Generative Adversarial Networks for Conditional Independence Testing

Chengchun Shi, Tianlin Xu+2 more|arXiv (Cornell University)|Jun 3, 2020

Generative Adversarial Networks and Image Synthesis被引用 9

一句话总结

本文提出了一种用于高维条件独立性检验的双生成对抗网络（GAN）框架，利用两个 GAN 来建模 X|Z 和 Y|Z 的条件分布，并基于广义协方差度量构建检验统计量。该方法在弱且实际的条件下实现了渐近有效的第一类错误控制，且统计功效趋近于 1，表现出强鲁棒性与优于现有方法的实证性能。

ABSTRACT

In this article, we study the problem of high-dimensional conditional independence testing, a key building block in statistics and machine learning. We propose an inferential procedure based on double generative adversarial networks (GANs). Specifically, we first introduce a double GANs framework to learn two generators of the conditional distributions. We then integrate the two generators to construct a test statistic, which takes the form of the maximum of generalized covariance measures of multiple transformation functions. We also employ data-splitting and cross-fitting to minimize the conditions on the generators to achieve the desired asymptotic properties, and employ multiplier bootstrap to obtain the corresponding $p$-value. We show that the constructed test statistic is doubly robust, and the resulting test both controls type-I error and has the power approaching one asymptotically. Also notably, we establish those theoretical guarantees under much weaker and practically more feasible conditions compared to the existing tests, and our proposal gives a concrete example of how to utilize some state-of-the-art deep learning tools, such as GANs, to help address a classical but challenging statistical problem. We demonstrate the efficacy of our test through both simulations and an application to an anti-cancer drug dataset. A Python implementation of the proposed procedure is available at https://github.com/tianlinxu312/dgcit.

研究动机与目标

• 解决在混杂因子 Z 为多变量且可能高维时的高维条件独立性检验挑战。
• 克服现有检验方法因高维性和小样本量导致的第一类错误膨胀或统计功效低下之局限。
• 开发一种统计上严谨、基于深度学习的推断程序，在最小假设下保持渐近有效性。
• 整合 GAN、数据分割、交叉拟合与乘子自展法等先进工具，确保理论保证与实际鲁棒性。
• 在模拟数据和真实世界的抗癌药物数据集上验证该方法的有效性。

提出的方法

• 提出双 GAN 框架，利用深度神经网络学习两个生成器，以近似条件分布 P(X|Z) 和 P(Y|Z)。
• 将检验统计量构造为多个 X 和 Y 的变换函数下广义协方差度量（GCM）的最大值，从而能够检测复杂的条件依赖关系。
• 采用数据分割与交叉拟合策略，实现估计与推断的解耦，降低对生成器收敛速率的依赖，从而允许更弱的假设条件。
• 使用乘子自展法计算检验统计量的准确 p 值，确保在原假设下推断的有效性。
• 通过结合两个条件分布模型实现双重稳健估计，增强对模型误设的鲁棒性。
• 利用神经网络的通用逼近性质，证明在备择假设下广义协方差非零的存在性。

实验结果

研究问题

• RQ1 基于深度生成模型的方法是否能在弱正则性条件下，实现高维条件独立性检验中渐近有效的第一类错误控制？
• RQ2 当 Z 高维且样本量有限时，所提出的双 GAN 框架是否仍能保持高统计功效？
• RQ3 基于广义协方差度量的检验统计量是否能够检测到传统线性检验所遗漏的复杂非线性条件依赖关系？
• RQ4 数据分割与交叉拟合的整合如何提升基于 GAN 的推断程序的理论保证？
• RQ5 该方法在多大程度上对 GAN 所建模的条件分布的误设具有鲁棒性？

主要发现

• 所提出的检验在显著弱于现有方法的条件下实现了渐近第一类错误率控制，使其更具实际可行性。
• 在备择假设下，检验的渐近功效趋近于 1，表明其对条件依赖关系具有强大的检测能力。
• 检验统计量具有双重稳健性，即只要 X|Z 或 Y|Z 的生成器被一致估计，检验结果依然有效，从而提升了可靠性。
• 模拟实验表明，该方法在统计功效方面优于多种竞争检验方法，尤其在 Z 高维的设定下表现更优。
• 在真实抗癌药物数据集上的实证验证表明，该方法在生物医学研究中具有实际应用价值。
• 理论分析证实，该检验统计量在原假设下收敛至非退化分布，从而可通过乘子自展法实现有效的 p 值计算。