[论文解读] Efficient Estimation of Mutual Information for Strongly Dependent Variables

Shuyang Gao, Greg Ver Steeg+1 more|arXiv (Cornell University)|Nov 7, 2014

Complex Network Analysis Techniques参考文献 31被引用 89

一句话总结

本文提出了一种基于k近邻（kNN）的新型互信息（MI）估计器，可校正联合分布中的局部非均匀性，这是现有kNN估计器的一个关键缺陷。与以往方法在强依赖关系下需要指数级样本量不同，新估计器在显著更少的样本下即可实现准确的MI估计，尤其在高依赖性场景中表现优异。

ABSTRACT

We demonstrate that a popular class of nonparametric mutual information (MI) estimators based on k-nearest-neighbor graphs requires number of samples that scales exponentially with the true MI. Consequently, accurate estimation of MI between two strongly dependent variables is possible only for prohibitively large sample size. This important yet overlooked shortcoming of the existing estimators is due to their implicit reliance on local uniformity of the underlying joint distribution. We introduce a new estimator that is robust to local non-uniformity, works well with limited data, and is able to capture relationship strengths over many orders of magnitude. We demonstrate the superior performance of the proposed estimator on both synthetic and real-world data.

研究动机与目标

• 识别现有基于kNN的MI估计器在强依赖关系下性能不佳的关键缺陷。
• 解决当前估计器在互信息较高时所需的样本量呈指数增长的问题。
• 开发一种新的非参数化MI估计器，即使在数据有限且关系强烈时仍保持高精度。
• 提供一种实用的开源工具，用于在真实世界数据挖掘应用中高效估计MI。

提出的方法

• 引入校正项以考虑联合密度中的局部非均匀性，而现有kNN估计器隐含地忽略了这一点。
• 通过引入偏差校正项，对标准kNN微熵估计器进行修改，以校正边界区域和非均匀区域中的密度估计误差。
• 基于校正后的kNN微熵估计值，推导出新的互信息估计器，使用标准恒等式 I(X) = ΣH(Xi) - H(X)。
• 采用改进的kNN图结构，更好地捕捉局部密度变化，尤其在高依赖性场景中。
• 使用最近邻距离的加权组合来估计局部密度，同时通过校正因子考虑非均匀性。
• 使用具有已知MI值的合成数据和真实世界数据对方法进行验证，以展示其鲁棒性和样本效率。

实验结果

研究问题

• RQ1 为何现有基于kNN的MI估计器在真实MI值较高时无法准确估计互信息？
• RQ2 当前kNN估计器中导致强依赖关系下性能不佳的底层假设是什么？
• RQ3 针对局部非均匀性的校正项是否能提升在样本有限情况下的kNN基MI估计精度？
• RQ4 在不同依赖水平下，所提出的估计器与最先进方法相比，在样本效率和准确性方面表现如何？

主要发现

• 在高依赖性场景中，所提估计器实现准确MI估计所需的样本量比标准kNN估计器少一个数量级甚至更多。
• 现有基于kNN的MI估计器在互信息增加时需要指数级增长的样本量，导致强依赖关系难以测量。
• 在小样本量下，新估计器在估计强非线性关系方面显著优于KSG估计器及其他kNN变体。
• 该方法对局部非均匀性和边界效应具有鲁棒性，而这些因素常导致传统kNN估计器产生偏差。
• 在合成数据和真实世界数据上的实证结果表明，即使真实MI超过5纳特，所提估计器仍能保持高精度。
• 开源实现展示了其在涉及高维强相关变量的数据挖掘任务中的实际应用价值。