[论文解读] Large and moderate deviations principles for recursive kernel estimators of a multivariate density and its partial derivatives

Abdelkader Mokkadem, Mariane Pelletier+1 more|arXiv (Cornell University)|Jan 18, 2006

Statistical Methods and Inference参考文献 12被引用 5

一句话总结

本文建立了多变量概率密度及其偏导数的递归核估计量的大偏差原理（LDP）和中等偏差原理（MDP）。结果表明，尽管密度估计量在LDP下表现出非二次率函数，但导数估计量在LDP和MDP下均呈现二次率函数，且显式给出了依赖于带宽序列和核性质的速度与率函数表达式。

ABSTRACT

In this paper we prove large and moderate deviations principles for the recursive kernel estimator of a probability density function and its partial derivatives. Unlike the density estimator, the derivatives estimators exhibit a quadratic behavior not only for the moderate deviations scale but also for the large deviations one. We provide results both for the pointwise and the uniform deviations.

研究动机与目标

• 推导多变量概率密度递归核估计量的大偏差原理（LDP）和中等偏差原理（MDP）。
• 分析导数估计量的渐近行为，特别是其在不同带宽序列下的偏离性质。
• 在递归估计的背景下，刻画点态与一致偏离的率函数。
• 将现有关于Rosenblatt核估计量的结果扩展至具有非独立同分布更新动态的递归核估计量。

提出的方法

• 在特定带宽序列 $ h_n = c n^{-a} $（其中 $ a \in (0, 1/d) $）下，推导递归密度估计量 $ f_n(x) $ 的大偏差原理（LDP）。
• 利用渐近幂律带宽 $ h_n = h(n) $（指数为 $ -a $，$ a \in (0, 1/(d + 2|\alpha|)) $）建立导数估计量 $ \partial^{[\alpha]}f_n(x) $ 的LDP。
• 使用通过 $ [0,1] \times \mathbb{R}^d $ 上关于核 $ K $ 的积分定义的累积量生成函数 $ \psi(u) $ 的Fenchel-Legendre变换。
• 在满足 $ v_n^2 / \sum_i h_i^{d+2|\alpha|} \to 0 $ 的一般带宽条件下，证明密度估计量和导数估计量的中等偏差原理（MDP），其中 $ v_n \to \infty $。
• 应用集中不等式和一致可积性论证，控制经验平均值与其期望之间的偏离。
• 利用递归更新公式 $ f_n(x) = \frac{n-1}{n}f_{n-1}(x) + \frac{1}{n h_n^d} K\left(\frac{x - X_n}{h_n}\right) $ 推导出用于偏离分析的鞅型结构。

实验结果

研究问题

• RQ1 在多项式带宽衰减下，多变量密度递归核估计量的大偏离行为如何？
• RQ2 在递归更新下，导数估计量的率函数结构是怎样的？其与密度估计量的率函数有何不同？
• RQ3 在何种条件下，递归密度估计量满足中等偏差原理？
• RQ4 导数估计量的率函数如何依赖于底层密度 $ f(x) $，特别是在 $ f(x) = 0 $ 时？
• RQ5 递归估计量的偏离行为是否可在紧集上一致刻画，还是仅能逐点刻画？

主要发现

• 对于带宽 $ h_n = c n^{-a} $ 的递归密度估计量，序列 $ f_n(x) - f(x) $ 满足大偏差原理，其速度为 $ \sum_{i=1}^n h_i^d $，率函数为 $ I_x(t) = f(x)(1 - ad) I\left( \frac{t}{f(x)(1 - ad)} + \frac{1}{1 - ad} \right) $，其中 $ I $ 为 $ \psi(u) $ 的Fenchel-Legendre变换。
• 对于导数估计量 $ \partial^{[\alpha]}f_n(x) $，当 $ f(x) \neq 0 $ 时，LDP的率函数为二次型：$ J_{[\alpha],x}(t) = \frac{t^2 (1 - a^2(d + 2|\alpha|)^2)}{2f(x) \int_{\mathbb{R}^d} [\partial^{[\alpha]}K(z)]^2 dz} $；当 $ f(x) = 0 $ 时，若 $ t \neq 0 $，则 $ J_{[\alpha],x}(t) = \infty $。
• 在条件 $ \lim_{n \to \infty} \frac{v_n^2}{\sum_{i=1}^n h_i^{d+2|\alpha|}} = 0 $ 下，密度估计量和导数估计量的MDP均成立，其速度为 $ \sum_{i=1}^n h_i^{d+2|\alpha|} $。
• 密度估计量的率函数为非二次型，且显式依赖于累积量生成函数 $ \psi(u) $，后者涉及 $ s \in [0,1] $ 和 $ z \in \mathbb{R}^d $ 上的积分。
• 当 $ f(x) \neq 0 $ 时，率函数 $ J_{[\alpha],x}(t) $ 在 $ (0, \infty) $ 上严格凸且可微，且在 $ t = 0 $ 处取得唯一最小值。
• 分析表明，导数估计量在大偏差和中等偏差两种情形下均表现出二次行为，而密度估计量的率函数则更为复杂，呈现非二次形式。