[论文解读] Estimation of Rényi Entropy and Mutual Information Based on Generalized Nearest-Neighbor Graphs

Dávid Pál, Barnabás Póczos+1 more|arXiv (Cornell University)|Mar 9, 2010

Bayesian Methods and Mixture Models参考文献 38被引用 92

一句话总结

本文提出了一种新颖的非参数估计器，用于基于广义k-近邻图和经验经验Copula的Rényi熵与互信息。在Lipschitz密度假设下，建立了几乎必然一致性和有限样本高概率误差界，这是首次对使用k-NN图的Rényi熵估计进行收敛速率分析。

ABSTRACT

We present simple and computationally efficient nonparametric estimators of Rényi entropy and mutual information based on an i.i.d. sample drawn from an unknown, absolutely continuous distribution over $\R^d$. The estimators are calculated as the sum of $p$-th powers of the Euclidean lengths of the edges of the `generalized nearest-neighbor' graph of the sample and the empirical copula of the sample respectively. For the first time, we prove the almost sure consistency of these estimators and upper bounds on their rates of convergence, the latter of which under the assumption that the density underlying the sample is Lipschitz continuous. Experiments demonstrate their usefulness in independent subspace analysis.

研究动机与目标

• 开发一种计算高效、无需依赖密度估计的非参数Rényi熵与互信息估计器。
• 修正并严格证明基于k-NN的Rényi熵估计器的几乎必然一致性，解决先前证明中的缺陷。
• 在Lipschitz密度条件下，首次建立Rényi熵估计的有限样本高概率误差界（收敛速率）。
• 通过经验Copula变换将k-NN图方法扩展至互信息估计，证明在d ≥ 3且α ∈ (1/2, 1)时的一致性。
• 通过可重用性和可并行性，展示k-NN图在多个α值下相较于MST和TSP的计算优势。

提出的方法

• 通过广义k-NN图中边长p次幂之和来估计Rényi熵，其中每个点连接其k个最近邻的任意子集。
• 采用经验Copula变换将原始i.i.d.样本映射到单位超立方体，从而在变换后的数据上通过图结构实现互信息估计。
• 使用扰动分析来界定真实图权重和与经验图权重和之间的差异，依赖于Lipschitz连续性和三角不等式来处理距离差异。
• 在有界支撑和α ∈ (0,1)条件下，通过Borel-Cantelli论证（取δ = 1/n²）建立熵估计器的几乎必然一致性。
• 利用集中不等式和扰动引理推导高概率误差界，不同速率取决于p（即α = 1 - p/d）。
• 通过结合Copula变换与广义k-NN图结构，证明互信息估计器的一致性，利用已知的Copula收敛结果。

实验结果

研究问题

• RQ1 基于k-NN图的估计器能否在Rényi熵估计中实现几乎必然一致性，且能否在不依赖有缺陷定理的前提下严格证明？
• RQ2 在Lipschitz密度条件下，使用k-NN图进行Rényi熵估计的有限样本收敛速率为何？
• RQ3 使用广义k-NN图（连接至超过第k个邻居）如何影响估计精度与收敛速率？
• RQ4 k-NN图框架能否通过经验Copula扩展至互信息估计？该扩展的一致性条件是什么？
• RQ5 在多个α值下，使用k-NN图相较于MST和TSP在估计Rényi熵与互信息方面具有哪些计算优势？

主要发现

• 所提出的Rényi熵估计器在有界支撑下对α ∈ (0,1)具有几乎必然一致性，且其证明严谨，纠正了文献中先前的错误。
• 本文首次建立了Rényi熵估计的有限样本高概率误差界，其速率取决于维度d和参数p = d(1−α)：当0 < p < d−1时为O(n^{-(d−p)/(d(2d−p))})，当d−1 ≤ p < d时为O(n^{-(d−p)/(d(d+1))})。
• 当0 < p < 1时，误差界为O(n^{p/d − p/2}(log(1/δ))^{p/2})；当1 ≤ p < d时，误差界为O(n^{p/d − 1/2}(log(1/δ))^{1/2})。
• 基于k-NN图与经验Copula的互信息估计器在d ≥ 3且α ∈ (1/2, 1)时具有强一致性，扩展了先前使用MST和TSP的研究。
• k-NN图框架可通过p次幂变换的单调性，实现对多个α值的高效估计，而无需重新计算图结构，而MST和TSP则不具备此优势。
• 数值实验表明，将每个点连接至所有k个最近邻（广义k-NN）相比仅连接至第k个邻居，能提升收敛速率。