[论文解读] Demystifying Fixed k-Nearest Neighbor Information Estimators

Weihao Gao, Sewoong Oh+1 more|arXiv (Cornell University)|Apr 11, 2016

Statistical Methods and Inference参考文献 66被引用 16

一句话总结

本文建立了广泛使用的KSG固定-k近邻互信息估计器的理论一致性和收敛速率，证明其偏差随样本量增加而消失。文章揭示了KSG性能优越性的‘相关性增强’机制，并提出了一种新型的偏差改进型KSG（BI-KSG）估计器，具有更紧的理论保证和更优的有限样本精度。

ABSTRACT

Estimating mutual information from i.i.d. samples drawn from an unknown joint density function is a basic statistical problem of broad interest with multitudinous applications. The most popular estimator is one proposed by Kraskov and Stögbauer and Grassberger (KSG) in 2004, and is nonparametric and based on the distances of each sample to its $k^{ m th}$ nearest neighboring sample, where $k$ is a fixed small integer. Despite its widespread use (part of scientific software packages), theoretical properties of this estimator have been largely unexplored. In this paper we demonstrate that the estimator is consistent and also identify an upper bound on the rate of convergence of the bias as a function of number of samples. We argue that the superior performance benefits of the KSG estimator stems from a curious "correlation boosting" effect and build on this intuition to modify the KSG estimator in novel ways to construct a superior estimator. As a byproduct of our investigations, we obtain nearly tight rates of convergence of the $\ell_2$ error of the well known fixed $k$ nearest neighbor estimator of differential entropy by Kozachenko and Leonenko.

研究动机与目标

• 建立广泛使用但缺乏严格理论基础的KSG固定-k近邻互信息估计器的理论一致性与收敛速率。
• 探究KSG估计器在高维设置下相对于3KL估计器表现出经验优越性的根源。
• 通过增强KSG方法中识别出的‘相关性增强’效应，提出一种新估计器BI-KSG，旨在实现更优的偏差-方差权衡。
• 推导固定-k近邻微分熵估计器的几乎紧致的$β$-范数收敛速率，扩展Kozachenko与Leonenko的前期结果。
• 为理解高维欧氏空间中非参数信息估计器的行为，提供严谨的理论框架。

提出的方法

• 通过条件化于第$k$个最近邻距离，并将剩余样本划分为距离更小、相等或更大的集合，分析KSG估计器。
• 利用集中不等式与几何概率，界定给定联合空间中距离下样本位于特定距离范围内的概率。
• 推导在条件化下，位于第$k$个最近邻半径内的$X$-邻居数量的分布，表明其服从二项分布。
• 通过控制二项分布邻居数量的尾部概率，建立KSG估计器偏差的上界。
• 通过优化距离阈值设定，修改KSG算法以增强相关性增强效应，提出BI-KSG估计器。
• 采用对联合密度与邻域几何的多尺度分析，推导出以样本量$N$及维度$d_x, d_y$表示的收敛速率。

实验结果

研究问题

• RQ1 当独立同分布样本数$N \to \infty$时，KSG估计器是否一致？
• RQ2 KSG估计器的$\ell_2$误差收敛速率是多少？其与维度的关系如何？
• RQ3 尽管两者均为固定-$k$近邻方法，为何KSG估计器在实践中优于3KL估计器？
• RQ4 KSG中的‘相关性增强’效应能否被定量理解并用于设计更优估计器？
• RQ5 固定-$k$近邻微分熵估计器的最紧收敛速率是什么？

主要发现

• KSG估计器是一致的，其偏差随样本量增加而趋于消失。
• 当两个随机变量的维度相等且不超过1时，KSG估计器的$\ell_2$误差以$1/\sqrt{N}$的速率收敛，达到参数化速率。
• KSG相对于3KL的性能优势归因于‘相关性增强’效应，即估计器更有效地利用了变量间的依赖结构。
• 所提出的BI-KSG估计器通过增强相关性增强机制，在有限样本下表现更优，且理论边界更紧。
• 本文建立了固定-k近邻微分熵估计器$\ell_2$误差的几乎紧致上界，改进了Kozachenko与Leonenko的早期结果。
• 分析表明，KSG估计器的偏差上界为$C_6 (\log N)^{3+\delta}/N$，其中$C_6 > 0$为某常数，其收敛速率依赖于维度与对数因子。