[论文解读] Conditional Independence Testing using Generative Adversarial Networks

Alexis Bellot, Mihaela van der Schaar|arXiv (Cornell University)|Jul 9, 2019

Machine Learning and Algorithms参考文献 29被引用 22

一句话总结

本文提出了一种基于生成对抗网络（GANs）的新颖条件独立性检验方法，用于建模条件独立性的原假设，从而实现在高维数据中的检验并提升统计功效。通过训练 GAN 在原假设下生成数据，该方法实现了有效的第一类错误控制，并在高维设置下显著优于现有方法，尤其在合成数据和遗传数据上得到了验证。

ABSTRACT

We consider the hypothesis testing problem of detecting conditional dependence, with a focus on high-dimensional feature spaces. Our contribution is a new test statistic based on samples from a generative adversarial network designed to approximate directly a conditional distribution that encodes the null hypothesis, in a manner that maximizes power (the rate of true negatives). We show that such an approach requires only that density approximation be viable in order to ensure that we control type I error (the rate of false positives); in particular, no assumptions need to be made on the form of the distributions or feature dependencies. Using synthetic simulations with high-dimensional data we demonstrate significant gains in power over competing methods. In addition, we illustrate the use of our test to discover causal markers of disease in genetic data.

研究动机与目标

• 解决在传统方法因虚假相关性导致统计功效低下的高维数据中条件独立性检验的挑战。
• 开发一种在不依赖底层分布或依赖结构的参数形式假设下，仍能保持有效第一类错误控制的检验方法。
• 通过生成建模在原假设下模拟数据，提升高维设置下的统计功效。
• 在复杂高维生物数据（如遗传标记与药物反应关系）中实现稳健的因果发现。

提出的方法

• 训练一个条件 GAN 以建模原假设 $\mathcal{H}_0: X \perp\!\! olimits\perp Y|Z $ 下的联合分布，生成在给定 $Z$ 时 $X$ 与 $Y$ 条件独立的数据样本。
• 利用生成样本经验估计在 $\mathcal{H}_0$ 下衡量 $X$-$Y$ 依赖关系的检验统计量的零抽样分布。
• 基于真实数据与生成数据中 $X$ 与 $Y$ 之间的依赖关系定义检验统计量，使用一个判别器来区分真实样本与生成样本。
• 通过超参数 $\lambda$ 的权衡优化 GAN，以平衡密度近似精度与检验功效，确保第一类错误控制。
• 通过数值积分计算检验统计量在 $\mathcal{H}_0$ 下分布的下界，以验证检验的有效性。
• 将真实数据上的观测检验统计量与生成样本的经empirical零分布进行比较，计算 $p$-值并据此对 $\mathcal{H}_0$ 做出决策。

实验结果

研究问题

• RQ1 基于 GAN 的方法是否能在不假设联合分布具体参数形式的情况下，实现在条件独立性检验中的有效第一类错误控制？
• RQ2 在传统核方法与置换方法失效的高维设置下，所提出的方法是否仍能保持高统计功效？
• RQ3 密度近似质量与检验功效之间的权衡如何影响基于 GAN 的检验性能？
• RQ4 该方法是否能有效识别现实世界遗传数据中非线性、高维的依赖关系，例如突变与药物反应之间的关系？
• RQ5 与核方法、置换检验及弹性网络回归等成熟方法相比，基于 GAN 的检验在识别因果遗传标记方面表现如何？

主要发现

• 所提出的基于 GAN 的条件独立性检验（GCIT）在有限样本中，即使在高维设置下，也实现了近似有效的第一类错误控制，且无需参数假设。
• 在合成模拟中，GCIT 相较于竞争方法展现出显著的功效提升，尤其在维度增加时，对条件依赖的检测能力更优。
• 在 CCLE 数据集的真实遗传数据上，GCIT 识别出 PIP5K1A 和 MAP3K5 等生物上相关的标记与药物反应存在条件依赖，与先前生物学证据一致。
• 对于 FLT3 基因，GCIT 正确识别出无条件依赖关系，后续遗传研究证实了该结果，表明其在避免假阳性方面的可靠性。
• 该方法在检测非线性依赖关系方面优于弹性网络回归与随机森林重要性评分，凸显其在捕捉复杂关系方面的优势。
• 实证验证了 GAN 训练质量与检验功效之间的权衡：更高的 $\lambda$ 值提升了功效，但轻微损害了第一类错误控制，图 3 清晰展示了这一权衡关系。