[论文解读] CCMI : Classifier based Conditional Mutual Information Estimation

Sudipto Mukherjee, Himanshu Asnani+1 more|arXiv (Cornell University)|Jun 5, 2019

Neural Networks and Applications参考文献 46被引用 20

一句话总结

该论文提出CCMI，一种基于分类器的新型条件互信息估计器，利用判别模型估计联合分布与乘积分布之间的KL散度，从而在高维设置下实现精确的CMI估计。与k-NN或核方法不同，CCMI避免了维度灾难，在条件独立性检验中实现了最先进性能，在100维条件下AUC > 0.91，且在合成数据和真实世界流式细胞术数据上均优于CCIT。

ABSTRACT

Conditional Mutual Information (CMI) is a measure of conditional dependence between random variables X and Y, given another random variable Z. It can be used to quantify conditional dependence among variables in many data-driven inference problems such as graphical models, causal learning, feature selection and time-series analysis. While k-nearest neighbor (kNN) based estimators as well as kernel-based methods have been widely used for CMI estimation, they suffer severely from the curse of dimensionality. In this paper, we leverage advances in classifiers and generative models to design methods for CMI estimation. Specifically, we introduce an estimator for KL-Divergence based on the likelihood ratio by training a classifier to distinguish the observed joint distribution from the product distribution. We then show how to construct several CMI estimators using this basic divergence estimator by drawing ideas from conditional generative models. We demonstrate that the estimates from our proposed approaches do not degrade in performance with increasing dimension and obtain significant improvement over the widely used KSG estimator. Finally, as an application of accurate CMI estimation, we use our best estimator for conditional independence testing and achieve superior performance than the state-of-the-art tester on both simulated and real data-sets.

研究动机与目标

• 解决现有条件互信息（CMI）估计器（如k-NN和核方法）面临的维度灾难问题。
• 开发一种在传统方法性能下降的高维设置下仍保持准确性和稳定性的CMI估计框架。
• 利用分类器和生成模型的进展，构建一类更具样本效率和可扩展性的新型CMI估计器。
• 通过条件独立性检验展示精确CMI估计的实用性，性能优于最先进方法。

提出的方法

• 提出一种基于分类器的新型KL散度估计器，通过训练分类器以区分真实联合分布与条件分布的乘积，使用似然比作为代理。
• 通过应用条件生成建模原理，将基本散度估计器扩展为多个CMI估计器。
• 采用两样本分类器方法估计观测分布与因子化解耦分布之间的散度，避免直接密度估计。
• 在来自联合分布和乘积分布的配对数据上训练神经网络分类器，通过对数似然比估计散度。
• 通过将估计值阈值设为零，将所得CMI估计器应用于条件独立性检验，性能通过AUROC评估。
• 使用置换法估计p值进行假设检验，尽管报告的主要指标为AUROC。

实验结果

研究问题

• RQ1 在高维设置下，基于分类器的方法是否能优于k-NN和核方法来估计条件互信息？
• RQ2 随着条件变量Z的维度增加，所提出的CCMI估计器是否仍能保持准确性和稳定性？
• RQ3 CCMI在合成数据和真实世界数据上的条件独立性检验中，是否能实现优于最先进方法CCIT的性能？
• RQ4 在样本数量有限（如真实生物数据集）的情况下，CCMI的性能是否退化或保持鲁棒？

主要发现

• CCMI在条件独立性检验中保持高性能，在条件变量Z的维度为100时，平均AUROC达到0.91，而CCIT在超过50维后性能显著下降。
• 在具有后非线性噪声的合成数据中，CCMI在d_z = 100时对条件独立与条件依赖对的CMI估计值表现出明显分离，阈值设为0时精确率0.84，召回率0.86。
• 在仅含853个样本、d_z ∈ {5,7}的真实流式细胞术数据上，CCMI在AUROC上优于CCIT，表明其在低样本、中等维度设置下的鲁棒性。
• 所提出的基于分类器的KL散度估计器比近期神经方法更稳定且性能更优，构成了CCMI框架的基础。
• 在高维场景下，CCMI显著优于广泛使用的KSG估计器，而k-NN方法在此类场景中面临指数级样本复杂度问题。