[论文解读] Efficient multivariate entropy estimation via $k$-nearest neighbour distances

Thomas B. Berrett, Richard J. Samworth+1 more|arXiv (Cornell University)|Jun 1, 2016

Statistical Methods and Inference参考文献 18被引用 15

一句话总结

本文提出了一种加权k-最近邻估计器，用于多变量微分熵估计，通过最优权重选择消除主导偏差项，从而在任意维度下实现渐近效率。该方法推广了Kozachenko-Leonenko估计器，使得在较弱光滑性条件和无界支撑下也能实现高效的熵估计，并构建了宽度最小的渐近有效置信区间。

ABSTRACT

Many statistical procedures, including goodness-of-fit tests and methods for independent component analysis, rely critically on the estimation of the entropy of a distribution. In this paper, we seek entropy estimators that are efficient and achieve the local asymptotic minimax lower bound with respect to squared error loss. To this end, we study weighted averages of the estimators originally proposed by Kozachenko and Leonenko (1987), based on the $k$-nearest neighbour distances of a sample of $n$ independent and identically distributed random vectors in $\mathbb{R}^d$. A careful choice of weights enables us to obtain an efficient estimator in arbitrary dimensions, given sufficient smoothness, while the original unweighted estimator is typically only efficient when $d \leq 3$. In addition to the new estimator proposed and theoretical understanding provided, our results facilitate the construction of asymptotically valid confidence intervals for the entropy of asymptotically minimal width.

研究动机与目标

• 开发一种适用于任意维度的多变量分布的高效、渐近最优熵估计器。
• 克服标准Kozachenko-Leonenko估计器在高维（d ≥ 4）下因非平凡偏差导致的低效性。
• 构建宽度最小的渐近有效置信区间用于熵估计。
• 将高效熵估计扩展至具有无界支撑的概率密度，这是先前方法失效的场景。

提出的方法

• 提出使用不同k值的k-最近邻距离对Kozachenko-Leonenko估计器进行加权平均。
• 推导最优权重，以消除估计器渐近展开中的主导偏差项。
• 通过在密度估计器附近对熵进行二阶泰勒展开，分析偏差与方差。
• 对密度及其导数施加光滑性条件，以确保渐近展开的有效性。
• 在得分函数较小的集合上应用H"older不等式与泰勒级数近似，以控制误差项。
• 通过证明在正则条件下收敛至局部渐近最小极大下界，建立估计器的渐近正态性与效率。

实验结果

研究问题

• RQ1 加权k-NN估计器是否能在任意维度d下实现多变量熵估计的渐近效率？
• RQ2 在高维设置下，对k-NN距离选择何种权重可消除主导偏差项？
• RQ3 当密度具有无界支撑时，所提出的估计器是否仍保持高效性，而此前方法不适用？
• RQ4 能否使用该估计器构建宽度最小的渐近有效置信区间？
• RQ5 在高维下，该估计器相较于无权重的Kozachenko-Leonenko估计器性能如何？

主要发现

• 所提出的加权k-NN估计器在任意维度d下均实现渐近效率，而无权重估计器仅在d ≤ 3时有效。
• 在充分光滑性条件下，估计器达到平方误差损失下的局部渐近最小极大下界。
• 该方法可构建宽度最小的渐近有效置信区间，具有关键的实际优势。
• 即使密度具有无界支撑，估计器仍保持高效性，显著扩展了先前工作（要求紧支撑且密度远离零有界）的适用范围。
• 估计器的渐近分布为正态分布，其方差等于费舍尔信息量，证实了其效率。
• 最优权重通过解析方法推导，以消除主导偏差项，且在较弱光滑性假设下证明了其存在性。