[论文解读] Estimation of entropy-type integral functionals

David Källberg, Oleg Seleznjev|arXiv (Cornell University)|Sep 12, 2012

Statistical Methods and Inference参考文献 15被引用 8

一句话总结

该论文提出使用两个独立样本中ε邻近对（ε-close pairs）的U-统计量估计器来估计熵型积分泛函——如Rényi熵和二次散度。在温和的光滑性和可积性条件下，即使密度的正则性较低，估计器也被证明是一致且渐近正态的，且收敛速率可适应不同的光滑性类别。

ABSTRACT

Entropy-type integral functionals of densities are widely used in mathematical statistics, information theory, and computer science. Examples include measures of closeness between distributions (e.g., density power divergence) and uncertainty characteristics for a random variable (e.g., Rényi entropy). In this paper, we study U-statistic estimators for a class of such functionals. The estimators are based on epsilon-close vector observations in the corresponding independent and identically distributed samples. We prove asymptotic properties of the estimators (consistency and asymptotic normality) under mild integrability and smoothness conditions for the densities. The results can be applied in diverse problems in mathematical statistics and computer science (e.g., distribution identification problems, approximate matching for random databases, two-sample problems).

研究动机与目标

• 为包括Rényi熵和二次散度在内的广泛类熵型积分泛函开发一致且渐近正态的估计器。
• 将现有U-统计量估计器的结果扩展至两样本设置，且对底层密度的光滑性假设最小化。
• 为形如 $ q(\textbf{a}) = a_0 q_{2,0} + a_1 q_{1,1} + a_2 q_{0,2} $ 的二次泛函建立收敛速率和渐近正态性，其中 $ q_{k_1,k_2} = \int p_X^{k_1} p_Y^{k_2} \, dx $。
• 通过允许低正则性密度（此时收敛速率可能慢于 $ \sqrt{n} $）来展示方法的稳健性，这与以往方法要求强可微性的限制不同。

提出的方法

• 基于两个独立样本中ε邻近观测对（定义为 $ \|x - y\| < \epsilon $）构造U-统计量估计器。
• 将ε邻近对的经验计数作为底层积分泛函的代理，利用依赖于样本大小的核函数的U-统计量渐近性质。
• 通过 $ \tilde{q}_\epsilon $（即在平滑密度下的估计器期望）进行偏差校正，以控制偏差项 $ \tilde{q}_\epsilon - q $。
• 通过将估计器分解为随机波动项和偏差项，然后应用Slutsky定理和U-统计量的中心极限定理，建立渐近正态性。
• 通过平衡偏差 $ \sim \epsilon^{2\alpha} $ 和方差 $ \sim n^{-1} \epsilon^{-d} $ 推导收敛速率，其中 $ \alpha $ 为密度的Hölder光滑指数。
• 使用ε球体积 $ b_\epsilon(d) = \epsilon^d b_1(d) $ 对U-统计量进行归一化，以确保渐近正态性的适当缩放。

实验结果

研究问题

• RQ1 基于ε邻近对的U-统计量估计器是否能在密度的弱光滑性条件下实现熵型泛函的一致性和渐近正态性？
• RQ2 估计器的收敛速率如何依赖于密度的Hölder光滑性 $ \alpha $ 和维度 $ d $ ？
• RQ3 所提出的方法是否能处理低正则性密度（例如 $ \alpha \leq d/4 $）并仍保证一致性和渐近正态性？
• RQ4 带宽 $ \epsilon $ 对二次泛函 $ q(\textbf{a}) $ 估计中偏差-方差权衡有何影响？
• RQ5 当 $ n\epsilon^d \to 0 $ 时，估计器的渐近正态性是否仍成立？这比以往工作所需的条件更弱。

主要发现

• 在温和的可积性和光滑性条件下，即使密度具有Hölder光滑性 $ \alpha > d/4 $，U-统计量估计器 $ \tilde{Q}_{\mathbf{n}} $ 对 $ q_{\mathbf{k}} $ 和 $ q(\textbf{a}) $ 仍是一致的。
• 当 $ \epsilon \sim c n^{-2/((1+\gamma)d)} $ 且 $ 0 < \gamma < 1 $ 时，$ q(\textbf{a}) $ 的渐近正态性成立，且满足 $ n^{\gamma/(1+\gamma)} c^{d/2} (\tilde{Q}_{\mathbf{n}} - q) \xrightarrow{D} N(0, \eta) $。
• 偏差项 $ |\tilde{q}_\epsilon - q| $ 有界于 $ C \epsilon^{2\alpha} $，在适当的 $ \epsilon $ 速率下，该偏差随 $ \mathbf{n} \to \infty $ 而趋于零，从而实现渐近正态性。
• 当 $ \epsilon \sim L(n)^{2/d} n^{-2/d} $ 时，有 $ L(n) |\tilde{q}_\epsilon - q| \to 0 $，且在该缓慢衰减的 $ \epsilon $ 序列下，$ \tilde{Q}_{\mathbf{n}} $ 的渐近正态性成立。
• 与以往工作（如Bickel和Ritov，Giné和Nickl）相比，该方法在更弱的光滑性假设下实现了一致性和渐近正态性，后者要求更强的可微性。
• 渐近方差 $ \eta $ 由U-统计量归一化方差的极限导出，且 $ n^2 \epsilon^d \binom{n_3}{2}^{-2} b_\epsilon(d)^{-2} \sigma_{\mathbf{n}}^2 \to \eta $ 的收敛性成立，无需要求 $ n\epsilon^d \to \beta $。