[论文解读] Exponential Concentration of a Density Functional Estimator

Shashank Singh, Barnabás P óczos|arXiv (Cornell University)|Mar 28, 2016

Control Systems and Identification参考文献 25被引用 11

一句话总结

本文提出了一种用于连续概率密度积分泛函的插件估计器，包括熵、散度、互信息及其条件变体。通过使用欠平滑的核密度估计，作者建立了 $ O(n^{-eta/(\beta+d)}) $ 的收敛速率，并证明了估计器在其均值附近的指数集中性，从而实现了多个估计的有限样本置信区间——这对条件独立性检验和鲁棒统计推断至关重要。

ABSTRACT

We analyze a plug-in estimator for a large class of integral functionals of one or more continuous probability densities. This class includes important families of entropy, divergence, mutual information, and their conditional versions. For densities on the $d$-dimensional unit cube $[0,1]^d$ that lie in a $β$-Hölder smoothness class, we prove our estimator converges at the rate $O \left( n^{-\fracβ{β+ d}} ight)$. Furthermore, we prove the estimator is exponentially concentrated about its mean, whereas most previous related results have proven only expected error bounds on estimators.

研究动机与目标

• 开发一种用于一个或多个连续概率密度一般积分泛函的非参数估计器，包括熵、散度和互信息。
• 分析估计器的统计性能，特别是其收敛速率和有限样本集中性行为。
• 为估计器建立指数集中性界限，从而实现在多个泛函上同时的置信保证。
• 将分析扩展到条件密度泛函，如 Rényi-α 条件互信息（CMI），这对因果发现和贝叶斯网络学习至关重要。
• 为在需要有界第一类错误的应用中使用该估计器提供理论基础，例如条件独立性检验。

提出的方法

• 使用插件估计器，通过使用欠平滑的核密度估计（KDE）从独立同分布样本中估计联合密度和边缘密度。
• 采用镜像KDE以确保用于泛函中的密度估计相互独立，从而通过McDiarmid不等式实现方差分析。
• 应用中值定理和Hölder不等式，以密度估计误差表示泛函估计器的偏差上界。
• 通过分析泛函对单个数据点变化的敏感性，利用McDiarmid不等式推导出方差上界。
• 通过有界差分不等式建立指数集中性，证明 $ \mathbb{P}(|F(\hat{p}) - F(p)| > \varepsilon) \leq 2\exp(-\varepsilon^2 n / (4C_V^2)) $，其中 $ C_V $ 依赖于核函数和泛函参数。
• 将一般集中性结果应用于Rényi-α CMI，推导出 $ C_V $ 的显式表达式，其形式为核范数与 $ \alpha $、$ \kappa_1 $、$ \kappa_2 $ 的函数。

实验结果

研究问题

• RQ1 在Hölder光滑密度下，一般密度泛函的非参数插件估计器的收敛速率是什么？
• RQ2 能否为这类估计器建立指数集中性界限，从而实现有限样本置信区间？
• RQ3 该估计器在如Rényi-α条件互信息等条件泛函上的表现如何？
• RQ4 估计器中偏差与方差之间的权衡是什么？欠平滑如何影响这一权衡？
• RQ5 该集中不等式能否同时保证多个泛函的精度，例如在条件独立性检验中？

主要发现

• 对于在 $[0,1]^d$ 上属于 $ \beta $-Hölder 类的密度，该估计器实现了 $ O(n^{-\beta/(\beta+d)}) $ 的收敛速率，当 $ \beta < d $ 时慢于参数速率，但在给定光滑性假设下为最优。
• 该估计器在其均值附近具有指数集中性，满足 $ \mathbb{P}(|F(\hat{p}) - F(p)| > \varepsilon) \leq 2\exp(-\varepsilon^2 n / (4C_V^2)) $，这一结果此前未在一般密度泛函估计器中建立。
• 对于Rényi-α条件互信息，方差常数 $ C_V $ 显式地有界为 $ \kappa^* \|K\|_1^{d_x + d_y + d_z} $，其中 $ \kappa^* $ 依赖于 $ \alpha $、$ \kappa_1 $ 和 $ \kappa_2 $，从而支持实际置信区间的构造。
• 估计器的偏差被上界控制为 $ O(h^\beta + h^{2\beta} + 1/(nh^d)) $，最优带宽选择可达到所述收敛速率。
• 该方法通过并集界实现了多个估计的联合置信区间，这对条件独立性检验等应用中实现有界第一类错误至关重要。
• 通过将误差分解为边缘估计误差和条件估计误差，并应用三角不等式和中值定理，该分析可推广至一般条件密度泛函。