[论文解读] Estimators for Multivariate Information Measures in General Probability Spaces

Arman Rahimzamani, Himanshu Asnani+2 more|arXiv (Cornell University)|Oct 26, 2018

Statistical Mechanics and Entropy参考文献 54被引用 8

一句话总结

本文提出了一种新型估计器，用于在一般概率空间（包括混合型离散-连续分布和低维流形结构）中估计多元信息度量（如互信息、条件互信息和定向信息）。该方法采用基于耦合的策略，直接估计Radon-Nikodym导数，避免了熵分解（ΣH范式），从而在现有方法失效的场景下实现一致估计，并在合成数据与真实世界数据上显著优于先前的估计器。

ABSTRACT

Information theoretic quantities play an important role in various settings in machine learning, including causality testing, structure inference in graphical models, time-series problems, feature selection as well as in providing privacy guarantees. A key quantity of interest is the mutual information and generalizations thereof, including conditional mutual information, multivariate mutual information, total correlation and directed information. While the aforementioned information quantities are well defined in arbitrary probability spaces, existing estimators add or subtract entropies (we term them $ΣH$ methods). These methods work only in purely discrete space or purely continuous case since entropy (or differential entropy) is well defined only in that regime. In this paper, we define a general graph divergence measure ($\mathbb{GDM}$), as a measure of incompatibility between the observed distribution and a given graphical model structure. This generalizes the aforementioned information measures and we construct a novel estimator via a coupling trick that directly estimates these multivariate information measures using the Radon-Nikodym derivative. These estimators are proven to be consistent in a general setting which includes several cases where the existing estimators fail, thus providing the only known estimators for the following settings: (1) the data has some discrete and some continuous-valued components (2) some (or all) of the components themselves are discrete-continuous mixtures (3) the data is real-valued but does not have a joint density on the entire space, rather is supported on a low-dimensional manifold. We show that our proposed estimators significantly outperform known estimators on synthetic and real datasets.

研究动机与目标

• 为解决在包含混合型离散-连续成分或支持于低维流形的复杂概率空间中，缺乏对多元信息度量的一致性估计器的问题。
• 克服标准ΣH范式所固有的局限性，该范式依赖于熵分解，当联合密度不存在或变量类型混合时即失效。
• 构建一个统一的图发散度度量框架，推广互信息及其变体，从而实现对复杂现实世界数据结构中信息度量的估计。
• 在因果推断、特征选择和图模型学习等实际应用中，展示所提估计器的优越性能。
• 在较弱正则性条件下，为估计器提供理论一致性保证，使其适用范围超越纯离散或连续设置。

提出的方法

• 引入一种通用图发散度度量（GDM），作为真实数据分布与受贝叶斯网络结构约束的分布之间的Kullback-Leibler发散度。
• 提出一种基于耦合的估计器，直接估计经验分布与模型分布之间的Radon-Nikodym导数，绕过熵分解过程。
• 采用非参数、基于样本的方法，通过在联合空间中使用最近邻或核密度估计来估计GDM。
• 通过将GDM特化为适当的图结构，推导出条件互信息、总相关性和定向信息的一致估计。
• 采用两步估计流程：首先估计成对RDI（拒绝式定向信息），再利用其计算cRDI（条件化RDI）以实现因果发现。
• 使用合成数据和真实数据集验证方法，在下游任务中与KSG、分箱法及ΣH估计器进行性能比较。

实验结果

研究问题

• RQ1 是否可以在包含混合型离散-连续成分的概率空间中，对多元信息度量实现一致估计？
• RQ2 当联合分布支持于低维流形而非全空间时，能否实现一致估计？
• RQ3 是否存在一种统一的估计器，能够在单一框架下推广互信息、条件互信息、总相关性和定向信息？
• RQ4 与现有的ΣH范式及基于KSG的方法相比，所提估计器在多种数据类型下的准确性和鲁棒性如何？
• RQ5 该估计器是否能在真实世界应用（如因果推断和特征选择）中提升性能？

主要发现

• 所提出的基于GDM的估计器在一般概率空间中实现了对多元信息度量的一致估计，包括混合型离散-连续分布和低维流形设置，而现有估计器在这些场景下均失效。
• 在具有零膨胀或混合类型变量的合成数据上，GDM估计器在估计条件互信息方面显著优于KSG、分箱法和ΣH方法，因果发现任务中AUROC提升至少10%。
• 在CMIM和CMIM-2特征选择任务中，GDM估计器比其他估计器更准确、收敛更快，能正确识别前五个相关特征（X1至X5）。
• 当数据缺乏联合密度（如神经网络激活值或具有dropout效应的基因表达数据）时，GDM估计器仍保持稳定性能，而ΣH方法会产生强烈负值且无意义的估计结果。
• 在基因调控网络推断任务中，基于GDM估计器的cRDI方法在样本量有限时，AUROC优于KSG和分箱法。
• 随着样本量增加，GDM与其他估计器之间的性能差距进一步扩大，表明其具有强一致性与良好的可扩展性。