[论文解读] Finite-Sample Analysis of Fixed-k Nearest Neighbor Density Functional Estimators

Shashank Kumar Singh, Barnabás Póczos|arXiv (Cornell University)|Jun 5, 2016

Statistical Methods and Inference被引用 14

一句话总结

本文首次对固定k的k-最近邻（k-NN）估计器在密度泛函（如熵和散度）上的有限样本性能进行了分析。通过固定k并应用偏差校正，该方法在β ≥ D/2时实现了比传统插补估计器更快的收敛速率——参数化O(n⁻¹)，并给出了偏差（O(n⁻β/D)）和方差（O(n⁻¹)）的严格界。

ABSTRACT

We provide finite-sample analysis of a general framework for using k-nearest neighbor statistics to estimate functionals of a nonparametric continuous probability density, including entropies and divergences. Rather than plugging a consistent density estimate (which requires $k \ o \\infty$ as the sample size $n \ o \\infty$) into the functional of interest, the estimators we consider fix k and perform a bias correction. This is more efficient computationally, and, as we show in certain cases, statistically, leading to faster convergence rates. Our framework unifies several previous estimators, for most of which ours are the first finite sample guarantees.

研究动机与目标

• 为固定k的k-NN估计器在密度泛函上的有限样本误差提供界，该方法计算高效且在某些情形下统计性能更优。
• 在统一框架下整合并推广现有针对熵、Rényi熵、KL散度和α-散度的估计器，引入偏差校正。
• 建立固定k估计器在何种条件下可实现比插补方法更快收敛速率的条件，特别是当β ≥ D/2时。
• 利用k-NN邻域的几何性质与Efron-Stein不等式，推导有限样本方差界。
• 形式化偏差与方差项可积的条件，尤其在密度边界附近。

提出的方法

• 提出一个通用框架，用于通过固定k的k-NN距离与偏差校正来估计泛函F(P) = E[f(p(X))]，避免在n → ∞时要求k → ∞。
• 使用从k-NN距离渐近分布推导出的偏差校正项，该分布在弱条件下收敛于厄兰分布。
• 应用Efron-Stein不等式，通过每个点最多是N_{k,D}个其他点的k-NN这一事实，来界定估计器的方差。
• 建立β-赫尔德连续密度下偏差衰减速率O(n⁻β/D)，其界依赖于光滑度β与维度D。
• 在函数泛函与密度的矩条件成立下，推导出有限样本方差界O(n⁻¹)，常数依赖于k与维度。
• 在密度上施加边界条件：p(x) ≥ c_∂ ε^{b_∂}(x)，以确保在定义域边界附近偏差与方差项的可积性。

实验结果

研究问题

• RQ1 在何种条件下，固定k的k-NN估计器在密度泛函估计中可实现比插补估计器更快的收敛速率？
• RQ2 固定k的k-NN估计器在熵与散度泛函上的有限样本偏差与方差界是什么？
• RQ3 k的选择如何影响有限样本中偏差与方差之间的权衡？
• RQ4 k-NN邻域的何种几何与概率性质使得可通过Efron-Stein不等式实现方差控制？
• RQ5 为使有限样本误差界成立，对密度（如在边界附近）需要何种正则性条件？

主要发现

• 对于β-赫尔德连续密度（β ∈ (0,2]），固定k的k-NN估计器的偏差衰减速率为O(n⁻β/D)，其中D为维度。
• 估计器的方差被界为O(n⁻¹)，常数随k与维度D增长，具体为C_V / n，其中C_V ∝ (1 + N_{k,D})(3 + 4k)。
• 估计器的均方误差（MSE）被界为O(n⁻²β/D + n⁻¹)，当β ≥ D/2时达到参数化速率O(n⁻¹)。
• 有限样本方差界通过Efron-Stein不等式与几何事实（每个点最多是N_{k,D}个其他点的k-NN）推导得出。
• 建立了边界条件：若在边界附近p(x) ≥ c_∂ ε^{b_∂}(x)，则可积性条件C_f < ∞成立，从而保证偏差与方差有限。
• 该框架统一了多个著名估计器，并首次为包括Kozachenko-Leonenko熵与KL散度估计器在内的多种方法提供了有限样本保证。