[论文解读] Large and moderate deviation principles for recursive kernel density estimators defined by stochastic approximation method

Yousri Slaoui|arXiv (Cornell University)|Jan 27, 2013

Markov Chains and Monte Carlo Methods参考文献 14被引用 10

一句话总结

本文建立了通过随机逼近算法构造的递归核密度估计量的大偏差原理（LDP）和中等偏差原理（MDP）。在密度和核函数满足正则性条件的前提下，通过最优步长选择——特别是最小化方差——该估计量在点态和一致意义下均达到与经典Rosenblatt核估计量相同的LDP和MDP速率函数。

ABSTRACT

In this paper we prove large and moderate deviations principles for the recursive kernel estimators of a probability density function defined by the stochastic approximation algorithm introduced by Mokkadem et al. [2009. The stochastic approximation method for the estimation of a probability density. J. Statist. Plann. Inference 139, 2459-2478]. We show that the estimator constructed using the stepsize which minimize the variance of the class of the recursive estimators defined in Mokkadem et al. (2009) gives the same pointwise LDP and MDP as the Rosenblatt kernel estimator. We provide results both for the pointwise and the uniform deviations.

研究动机与目标

• 推导基于随机逼近的递归核密度估计量的大偏差原理与中等偏差原理。
• 识别在递归估计框架中使方差最小化的最优步长序列。
• 比较递归估计量与经典非递归估计量（如Rosenblatt的估计量）的偏差行为。
• 在带宽与步长序列满足一般正则变体条件的前提下，建立点态与一致偏差原理。
• 证明采用方差最小化步长的递归估计量，其LDP与MDP速率函数与Rosenblatt估计量完全一致。

提出的方法

• 使用随机逼近算法，通过前一时刻估计值与基于核函数的观测值的加权平均，递归地更新每个点的密度估计。
• 应用Robbins-Monro方案，其中步长为 $\gamma_n$，带宽为 $h_n$，形式为 $f_n(x) = (1 - \gamma_n)f_{n-1}(x) + \gamma_n h_n^{-d} K((x - X_n)/h_n)$。
• 利用压缩原理与Laplace方法，通过大偏差与中等偏差理论推导速率函数。
• 将速率函数 $I_x(t)$ 定义为包含核函数 $K$ 的矩生成函数的Legendre-Fenchel变换。
• 对 $\gamma_n$ 与 $h_n$ 假设正则变体性质，以处理一般带宽序列，包括 $h_n = c n^{-a}$ 且 $a \in (0, 1/d)$ 的情形。
• 应用集中不等式与矩界，控制一致偏差情形下的尾部概率，尤其针对无界定义域的情形。

实验结果

研究问题

• RQ1 在最优步长选择下，递归核密度估计量满足何种大偏差原理（LDP）？
• RQ2 采用方差最小化步长的递归估计量是否与Rosenblatt估计量具有相同的LDP速率函数？
• RQ3 在一般步长序列下，递归估计量的行为受何种中等偏差原理（MDP）支配？
• RQ4 不同带宽与步长选择下，点态与一致LDP/MDP速率如何比较？
• RQ5 能否通过正则变体与矩假设，控制递归估计量在无界定义域上的一致偏差行为？

主要发现

• 当 $\gamma_n = n^{-1}$ 且 $h_n = c n^{-a}$，$a \in (0, 1/d)$ 时，该递归估计量在点态意义下满足速度为 $n h_n^d$ 的LDP，其速率函数为 $I_{a,x}(t) = f(x) I_a(1 + t/f(x))$，其中 $f(x) \neq 0$。
• 当 $\gamma_n = h_n^d \left(\sum_{k=1}^n h_k^d\right)^{-1}$ 时，该递归估计量达到与Rosenblatt估计量相同的LDP速率函数，即 $I_x(t) = f(x) I(1 + t/f(x))$，其中 $I(t) = \sup_u \{ut - \psi(u)\}$，且 $\psi(u) = \int_{\mathbb{R}^d} (e^{uK(z)} - 1) dz$。
• 对于中等偏差情形，当 $\gamma_n = \gamma(n)$ 为指数为 $-\alpha$ 的正则变体时，估计量满足速度为 $v_n^2$ 的MDP，其速率函数通过核函数的矩生成函数推导得出。
• 在矩与正则变体条件成立下，对上确界偏差 $\sup_{x \in U} v_n |\Psi_n(x)| \geq \delta$ 建立了统一LDP，其上界为 $\limsup \frac{\gamma_n v_n^2}{h_n^d} \log \mathbb{P}(\cdots) \leq -\frac{\beta}{\beta + d} \tilde{g}_U(\delta)$。
• 通过结合指数矩界与 $w_n = \exp(b h_n^d / (\gamma_n v_n^2))$ 的尾部控制，证明了统一MDP的速率函数具有紧性。
• 结果表明，采用方差最小化步长的递归估计量，在点态与一致情形下，均继承了与非递归Rosenblatt估计量相同的极大偏差与中等偏差行为。