[论文解读] Ensemble Estimation of Distributional Functionals via $k$-Nearest Neighbors

Kevin R. Moon, Kumar Sricharan+1 more|arXiv (Cornell University)|Jul 10, 2017

Statistical Methods and Inference参考文献 33被引用 3

一句话总结

本文提出了一种集成k-最近邻（k-NN）方法，用于非参数估计分布函数性，如散度和熵，在较弱的光滑性假设下实现了参数化的均方误差（MSE）率 $O(1/N)$。通过将最优加权集成估计应用于留一法k-NN插补估计器，该方法实现了更快的收敛速度，并支持渐近正态性，从而支持假设检验——为基于核的方法提供了一种计算高效的替代方案，且相较于先前的k-NN估计器具有更广泛的应用范围。

ABSTRACT

The problem of accurate nonparametric estimation of distributional functionals (integral functionals of one or more probability distributions) has received recent interest due to their wide applicability in signal processing, information theory, machine learning, and statistics. In particular, $k$-nearest neighbor (nn) based methods have received a lot of attention due to their adaptive nature and their relatively low computational complexity. We derive the mean squared error (MSE) convergence rates of leave-one-out $k$-nn plug-in density estimators of a large class of distributional functionals without boundary correction. We then apply the theory of optimally weighted ensemble estimation to obtain weighted ensemble estimators that achieve the parametric MSE rate under assumptions that are competitive with the state of the art. The asymptotic distributions of these estimators, which are unknown for all other $k$-nn based distributional functional estimators, are also presented which enables us to perform hypothesis testing.

研究动机与目标

• 开发一种基于k-NN方法的非参数估计器，用于分布函数性（如熵、散度和互信息），并实现更快的收敛速率。
• 在比以往工作更宽松的光滑性和边界条件下，实现基于k-NN的估计器的参数化MSE速率 $O(1/N)$。
• 推导集成估计器的渐近分布，从而支持统计推断（如假设检验）。
• 将k-NN估计器的适用范围从f-散度扩展到更广泛的函数性类别，包括L²散度和一般熵。
• 提供一种计算高效的核密度估计器替代方案，避免显式依赖边界知识，并在光滑性条件下保持高精度。

提出的方法

• 使用留一法k-NN插补估计器来估计分布函数性，利用基于k-最近邻的局部密度估计。
• 应用最优加权集成估计理论，结合不同k值的多个k-NN估计器，以最小化方差和偏差。
• 推导集成估计器的MSE收敛速率，证明当密度足够光滑时，收敛速率为 $O(1/N)$。
• 通过高阶矩分析和在温和正则性条件下的协方差衰减，建立集成估计器的渐近正态性。
• 提出一种加权方案，可在不同k值间最优平衡偏差与方差，提升收敛速度，且无需边界校正。
• 将估计误差分解为偏差和方差分量，通过矩界和渐近独立性对交叉项协方差进行严格控制。

实验结果

研究问题

• RQ1 基于k-NN的分布函数性估计器是否能在无需边界校正或对支撑集施加强假设的情况下，实现参数化MSE速率 $O(1/N)$？
• RQ2 k-NN集成估计器的渐近分布是什么？是否可用于有效统计推断？
• RQ3 如何系统性地将集成方法应用于k-NN插补估计器，以实现比单个估计器更快的收敛速度？
• RQ4 在何种光滑性和边界条件下，集成k-NN估计器能保持参数化收敛速率？
• RQ5 所提出的方法能否扩展到f-散度之外的更广泛函数性类别，如L²散度和一般熵？

主要发现

• 所提出的集成k-NN估计器在底层密度足够光滑时，即使无边界校正，也能实现参数化MSE速率 $O(1/N)$。
• 估计器的渐近分布为正态分布，支持假设检验和置信区间构建——这与大多数先前的k-NN估计器不同。
• 通过使用加权集成技术，最优组合不同k值的多个估计器，该方法实现了比标准k-NN估计器更快的收敛速度。
• 与先前的集成k-NN方法相比，该估计器在更宽松的光滑性假设下仍能保持参数化速率，例如Moon和Hero（2016）提出的方法。
• 当 $M \to \infty$ 时，集成组件之间的协方差衰减至零，这在温和条件下确保了一致性和渐近正态性。
• 与以往的k-NN集成工作相比，该方法可应用于更广泛的函数性类别，包括 $L^2$ 散度和一般熵，而不仅限于f-散度。