[论文解读] Analysis of k-Nearest Neighbor Distances with Application to Entropy Estimation

Shashank Singh, Barnabás Póczos|arXiv (Cornell University)|Mar 28, 2016

Advanced Statistical Methods and Models参考文献 37被引用 27

一句话总结

本文基于 k-最近邻（k-NN）距离，为 Kozachenko-Leonenko（KL）微分熵估计器提供了有限样本的偏差和方差界。在一般条件下（包括重尾分布），该估计器在光滑密度下达到了极小极大收敛速率，偏差为 $O((k/n)^{eta/D})$，方差为 $O(1/n)$。

ABSTRACT

Estimating entropy and mutual information consistently is important for many machine learning applications. The Kozachenko-Leonenko (KL) estimator (Kozachenko & Leonenko, 1987) is a widely used nonparametric estimator for the entropy of multivariate continuous random variables, as well as the basis of the mutual information estimator of Kraskov et al. (2004), perhaps the most widely used estimator of mutual information in this setting. Despite the practical importance of these estimators, major theoretical questions regarding their finite-sample behavior remain open. This paper proves finite-sample bounds on the bias and variance of the KL estimator, showing that it achieves the minimax convergence rate for certain classes of smooth functions. In proving these bounds, we analyze finite-sample behavior of k-nearest neighbors (k-NN) distance statistics (on which the KL estimator is based). We derive concentration inequalities for k-NN distances and a general expectation bound for statistics of k-NN distances, which may be useful for other analyses of k-NN methods.

研究动机与目标

• 解决关于 Kozachenko-Leonenko（KL）熵估计器有限样本行为的开放性理论问题。
• 在一般分布假设下，推导 KL 估计器偏差与方差的严格有限样本界。
• 为 k-NN 距离建立集中不等式与矩界，适用于更广泛的 k-NN 方法。
• 通过放宽如紧支集和有界密度光滑性等强假设，拓展现有结果。
• 为广泛使用的 KSG 互信息估计器及相关泛函提供理论基础。

提出的方法

• 在具有基测度和概率密度的一般度量测度空间中分析 k-NN 距离。
• 利用矩界和密度的尾部条件，推导 k-NN 距离的集中不等式。
• 建立对数 k-NN 距离的矩界，包括对方差控制至关重要的负矩。
• 应用 Efron-Stein 不等式和大数定律，以界 KL 估计器的方差。
• 利用密度的 Hölder 连续性与维数假设，推导出与 $ (k/n)^{\beta/D} $ 成比例的偏差界。
• 结合偏差与方差界，推导出均方误差率，并对 $ k $ 进行优化。

实验结果

研究问题

• RQ1 在一般光滑性和尾部条件下，KL 熵估计器的有限样本偏差与方差界是什么？
• RQ2 k-NN 距离统计量在非紧致或无界分布下的行为如何？适用的矩界是什么？
• RQ3 能否在不假设紧支集或有界密度的前提下，建立 k-NN 距离的集中不等式？
• RQ4 KL 估计器是否在微分熵估计中达到极小极大收敛速率？
• RQ5 该理论框架能否推广至互信息与散度估计器？

主要发现

• KL 估计器的偏差被界为 $ O\big((k/n)^{\beta/D}\big) $，其中 $ \beta $ 为 Hölder 连续性参数，$ D $ 为内在维数。
• KL 估计器的方差被界为 $ O(1/n) $，在 k-NN 邻居计数满足几何约束的条件下，可进一步优化为 $ O(1/nk) $。
• 针对一般 $ \ell $-阶中心矩，建立了对数 k-NN 距离的矩界，并通过 $ \ell! / \lambda^\ell $ 实现指数尾部控制。
• KL 估计器的均方误差达到极小极大速率 $ O\big((k/n)^{2\beta/D} + 1/nk\big) $，最优 $ k \asymp n^{\max\{0, (2\beta - D)/(2\beta + D)\}} $。
• 在温和的尾部与密度正则性条件下，结果对无界分布依然成立，放宽了以往对紧支集的假设。
• 该分析为 KSG 互信息估计器提供了理论依据，并可推广至 Rényi 与 Tsallis 熵。