[论文解读] Estimation of R\\'enyi Entropy and Mutual Information Based on Generalized Nearest-Neighbor Graphs

Dávid Pál, Barnabás Póczos+1 more|arXiv (Cornell University)|Mar 9, 2010

Blind Source Separation Techniques参考文献 39被引用 73

一句话总结

本文提出了一种基于广义最近邻图和经验经验Copula变换的非参数Rényi熵与互信息估计器。在密度Lipschitz连续的假设下，建立了几乎必然一致性和有限样本高概率误差界，这是该类估计器中首次对Rényi熵估计的收敛速率进行分析。

ABSTRACT

We present simple and computationally efficient nonparametric estimators of R\\'enyi entropy and mutual information based on an i.i.d. sample drawn from an unknown, absolutely continuous distribution over $\\R^d$. The estimators are calculated as the sum of $p$-th powers of the Euclidean lengths of the edges of the `generalized nearest-neighbor' graph of the sample and the empirical copula of the sample respectively. For the first time, we prove the almost sure consistency of these estimators and upper bounds on their rates of convergence, the latter of which under the assumption that the density underlying the sample is Lipschitz continuous. Experiments demonstrate their usefulness in independent subspace analysis.

研究动机与目标

• 开发一种计算高效的非参数Rényi熵与互信息估计器，无需依赖密度估计。
• 修正并严格证明基于k-NN图的Rényi熵估计器的几乎必然一致性，解决先前证明中的缺陷。
• 在密度Lipschitz连续的假设下，首次建立Rényi熵估计的有限样本高概率误差界（收敛速率）。
• 通过经验Copula和k-NN图将该方法扩展至Rényi互信息估计，并证明当d ≥ 3且α ∈ (1/2, 1)时的强一致性。
• 展示使用广义k-NN图（所有k个最近邻）相比MST或TSP在多个α值下具有更高的计算效率和图结构可重用性。

提出的方法

• 将Rényi熵估计为广义k-NN图中边的欧氏长度的p阶幂之和，其中每个点连接其k个最近邻中的任意子集。
• 使用经验Copula变换将原始i.i.d.样本映射到单位立方体[0,1]^d，以实现基于Copula的互信息估计。
• 应用扰动分析，界定在i.i.d.抽样下真实Copula图长度与经验Copula图长度之间的差异。
• 采用基于度量熵和覆盖论证的新型证明技术，建立一致性和收敛速率，避免了对Helly-Bray或Fatou型定理的错误应用。
• 利用集中不等式和密度的Lipschitz连续性推导出高概率误差界，得到以样本量n和维度d表示的显式收敛速率。
• 利用距离的p阶幂的单调性，使得k-NN图结构在不同α值下保持不变（通过p = d(1−α)实现），从而实现多α值下的高效估计。

实验结果

研究问题

• RQ1 能否证明基于广义k-NN图的非参数Rényi熵估计器几乎必然一致？若可，其成立条件为何？
• RQ2 在底层密度为Lipschitz连续的假设下，基于k-NN图的Rényi熵估计的有限样本收敛速率为何？
• RQ3 基于k-NN图的方法能否通过经验Copula扩展至Rényi互信息估计？其是否具有强一致性？
• RQ4 与MST或TSP等先前方法相比，使用广义k-NN图（所有k个邻居）在计算效率和不同α值下的图结构可重用性方面有何优势？
• RQ5 在使用k-NN图估计Rényi互信息时，经验Copula变换的理论误差界为何？

主要发现

• 在密度有界支撑的假设下，基于广义k-NN图的所提Rényi熵估计器对α ∈ (0,1)和d ≥ 1具有几乎必然一致性。
• 对于Lipschitz连续的密度，本文首次建立了Rényi熵估计的有限样本高概率误差界，其收敛速率依赖于维度d和参数p = d(1−α)。
• Rényi熵的误差界在0 < p < d−1时为O(n^{−(d−p)/(d(2d−p))})，在d−1 ≤ p < d时为O(n^{−(d−p)/(d(d+1))})，并带有对数修正项。
• 基于经验Copula和k-NN图的互信息估计器在d ≥ 3且α ∈ (1/2,1)时具有强一致性，扩展了以往使用MST或TSP的研究。
• k-NN图结构在距离的单调变换下保持不变，使得在无需重新计算图的情况下，可高效估计多个α值。
• 数值实验表明，使用所有k个最近邻（广义k-NN）相比仅连接至第k个最近邻，能获得更优的收敛速率。