[论文解读] Conditional Dependence via Shannon Capacity: Axioms, Estimators and Applications

Weihao Gao, Sreeram Kannan+2 more|arXiv (Cornell University)|Feb 10, 2016

Statistical Methods and Inference被引用 7

一句话总结

该论文提出了一种基于香农容量的新型条件依赖度量方法——容量互信息（CMI），作为现有因果强度度量的鲁棒、不变且信息论驱动的替代方案。该方法引入了一种固定-k 近邻估计器，具有统计一致性，并在单细胞流式细胞术应用中显著降低了样本复杂度，优于均匀互信息（UMI）。

ABSTRACT

We conduct an axiomatic study of the problem of estimating the strength of a known causal relationship between a pair of variables. We propose that an estimate of causal strength should be based on the conditional distribution of the effect given the cause (and not on the driving distribution of the cause), and study dependence measures on conditional distributions. Shannon capacity, appropriately regularized, emerges as a natural measure under these axioms. We examine the problem of calculating Shannon capacity from the observed samples and propose a novel fixed-$k$ nearest neighbor estimator, and demonstrate its consistency. Finally, we demonstrate an application to single-cell flow-cytometry, where the proposed estimators significantly reduce sample complexity.

研究动机与目标

• 开发一种理论基础扎实、不变的潜在因果影响度量，仅依赖于条件分布 $P_{Y|X}$，而不依赖于边缘分布 $P_X$。
• 通过提出更合理的替代方案，解决均匀互信息（UMI）的局限性，如对变量变换的敏感性及支持估计问题。
• 建立因果强度度量的公理体系，满足诸如数据处理、可加性和凸包不变性等自然性质。
• 设计一种从独立同分布样本中估计CMI的统计一致性方法，尤其适用于高维连续场景。
• 在真实世界的单细胞流式细胞术数据上验证所提方法，证明其可降低样本复杂度。

提出的方法

• 提出容量互信息（CMI）作为因果强度度量：$\textrm{CMI}(P_{Y|X}) = \max_{Q_X} D(Q_X P_{Y|X} \| Q_X P_Y)$，表示通过通道 $P_{Y|X}$ 的最大信息流。
• 建立一组公理——数据处理、可加性、凸包不变性和最大容量——CMI 满足这些公理，从而支持其作为因果强度度量的合理性。
• 提出一种固定-k 近邻估计器用于CMI，利用局部密度估计和收敛性边界，在较弱的正则性条件下确保一致性。
• 利用Rényi散度和集中不等式推导有限样本误差界，证明在光滑性假设下收敛速率为 $O(N^{-1/(2d_x+3)})$。
• 将该估计器应用于单细胞流式细胞术数据，结果表明其在捕捉内在条件依赖性方面优于UMI，从而实现更低的样本复杂度。

实验结果

研究问题

• RQ1 潜在因果影响的度量应满足哪些公理化性质？何种信息论量能满足这些性质？
• RQ2 当输出变量为高维连续变量时，如何从独立同分布样本中一致估计香农容量？
• RQ3 为何均匀互信息（UMI）在实践中不适合作为因果强度度量？其根本局限性是什么？
• RQ4 在样本量有限的真实生物数据中，基于CMI的估计器是否能优于UMI？
• RQ5 所提估计器在变量变换和高维噪声下，其统计一致性和鲁棒性在多大程度上得以保持？

主要发现

• CMI 满足所有提出的公理：数据处理、可加性、凸包不变性和最大容量，使其成为潜在因果影响的理论坚实度量。
• 在较弱的光滑性和密度正则性条件下，CMI 的固定-k 近邻估计器具有一致性，收敛速率为 $O(N^{-1/(2d_x+3)})$。
• 通过Rényi散度和集中不等式推导了估计器的误差界，确保随着样本量增加，其收敛具有概率保证。
• 在单细胞流式细胞术数据中，CMI 估计器相比UMI 显著降低了样本复杂度，使更少样本下也能实现可靠推断。
• CMI 在 $X$ 和 $Y$ 的双射变换下保持不变，而UMI 不具备此性质，且CMI 仅依赖于条件分布 $P_{Y|X}$，因此更具鲁棒性和可解释性。