[论文解读] Generalized Exponential Concentration Inequality for Renyi Divergence Estimation

Shashank Singh, Barnabás Póczos|arXiv (Cornell University)|Mar 28, 2016

Sparse and Compressive Sensing Techniques参考文献 25被引用 9

一句话总结

本文首次为在 d 维单位立方体上使用两个独立同分布样本的非参数 Rényi-α 散度估计器，提出了有限样本下的指数集中不等式。该方法采用具有光滑 Hölder 类密度假设的核密度估计，并建立了随样本量指数衰减的界，首次证明了在有限样本下 Rényi 散度估计的指数集中结果。

ABSTRACT

Estimating divergences between probability distributions in a consistent way is of great importance in many machine learning tasks. Although this is a fundamental problem in nonparametric statistics, to the best of our knowledge there has been no finite sample exponential inequality convergence bound derived for any divergence estimators. The main contribution of our work is to provide such a bound for an estimator of Renyi divergence for a smooth Holder class of densities on the d-dimensional unit cube. We also illustrate our theoretical results with a numerical experiment.

研究动机与目标

• 通过推导有限样本收敛保证，填补对 Rényi-α 散度估计器理论理解的空白。
• 提供首个针对任何非参数 Rényi-α 散度估计器的指数集中不等式，解决非参数统计中长期存在的开放问题。
• 在 Hölder 光滑性条件下，建立基于核的 Rényi-α 散度估计器的偏差与方差的理论界。
• 通过在 [0,1]^d 上受限的多元正态分布上的数值实验，验证理论界的有效性。

提出的方法

• 在 d 维单位立方体 [0,1]^d 上使用乘积核进行核密度估计，从两个独立同分布样本中估计两个底层分布的密度。
• 通过泰勒展开和 Hölder 连续性假设（光滑参数 β 和范数 r），在边界附近控制密度估计器的偏差。
• 推导出核密度估计器的偏差界为 O(h^{β})，其中 h 为带宽。
• 使用 McDiarmid 不等式，通过证明散度对单个样本变化的敏感度为 O(1/n)，推导出散度估计器的指数集中界。
• 结合 Hölder 不等式与标准核密度估计结果，将偏差与方差界合并，得到总误差界为 O(h^{β} + h^{2β} + 1/(n h^d))。
• 通过优化带宽 h，当密度无限可微时（β = ∞），实现均方误差为 O(n^{-1})。

实验结果

研究问题

• RQ1 能否为有限样本下的非参数 Rényi-α 散度估计器推导出指数集中不等式？
• RQ2 在 Hölder 光滑性条件下，Rényi-α 散度估计中偏差与方差的最优权衡是什么？
• RQ3 估计器的收敛速率如何依赖于维度 d 和底层密度的光滑性 β？
• RQ4 理论集中界能否在现实统计模型上通过实证验证？

主要发现

• 本文首次为任何非参数 Rényi-α 散度估计器建立了有限样本下的指数集中不等式，证明估计器以指数速率在样本量上集中在真实散度附近，且概率很高。
• 在 Hölder 类 Σκ(β, L, r) 中的密度下，核密度估计器的偏差被限制为 O(h^{β})，其中 h 为带宽，β 为光滑参数。
• 通过 McDiarmid 不等式，证明了散度估计器的方差满足指数尾部界，且散度对任一样本的敏感度为 O(1/n)。
• 估计器的总均方误差被限制为 O(h^{β} + h^{2β} + 1/(n h^d))，当密度无限可微时（β = ∞），该界达到最优速率 O(n^{-1})。
• 在 [0,1]^3 上受限的三维正态分布上的数值实验验证了理论收敛速率，显示经验均方误差与推导出的 O(n^{-1}) 界一致。
• 理论集中界在样本量从 1 到 5000 的范围内紧密跟踪了经验误差，验证了所推导不等式的紧致性。