[论文解读] Large and moderate deviation principles for averaged stochastic approximation method for the estimation of a regression function

Yousri Slaoui|arXiv (Cornell University)|Apr 29, 2013

Simulation Techniques and Applications参考文献 6被引用 8

一句话总结

本文建立了用于非参数回归估计中平均随机逼近算法的大偏差原理（LDP）和中等偏差原理（MDP）。结果表明，当权重序列最小化渐近方差时，LDP的速率函数与Nadaraya-Watson核估计器的速率函数完全一致，而MDP的速率函数则大于Nadaraya-Watson估计器和半递归估计器的速率函数。

ABSTRACT

In this paper we prove large deviations principles for the averaged stochastic approximation method for the estimation of a regression function introduced by A. Mokkadem et al. [Revisiting Révész's stochastic approximation method for the estimation of a regression function, ALEA Lat. Amm. J. Probab. Math. Stat. 6 (2009), 63-114]. We show that the averaged stochastic approximation algorithm constructed using the weight sequence which minimize the asymptotic variance gives the same pointwise LDP as the Nadaraya-Watson kernel estimator. Moreover, we give a moderate deviations principle for these estimators. It turns out that the rate function obtained in the moderate déviations principle for the averaged stochastic approximation algorithm constructed using the weight sequence which minimize the asymptotic variance is larger than the one obtained for the Nadaraya-Watson estimator and the one obtained for the semi-recursive estimator.

研究动机与目标

• 建立回归函数的平均随机逼近估计量的大偏差原理（LDP）。
• 在一般权重序列与带宽序列下，推导同一估计量的中等偏差原理（MDP）。
• 比较平均随机逼近估计量与Nadaraya-Watson估计器及半递归估计器的速率函数。
• 确定带宽 $ h_n = c n^{-a} $ 与权重 $ q_n = c' n^{-q} $ 的条件，以获得最优偏差速率。
• 证明最优权重序列（最小化渐近方差）产生的LDP速率函数与Nadaraya-Watson估计器相同。

提出的方法

• 平均随机逼近估计量定义为 $ \overline{r}_n(x) = \frac{1}{\sum_{k=1}^n q_k} \sum_{k=1}^n q_k r_k(x) $，其中 $ r_k(x) $ 为基于核加权观测的Robbins-Monro型更新。
• 在条件 $ h_n = c n^{-a} $（$ a \in (1-\alpha, (4\alpha-3)/2) $，$ \alpha \in (3/4,1] $）与 $ q_n = c' n^{-q} $（$ q < \min\{1-2a, (1+a)/2\} $）下推导LDP。
• 速率函数 $ I_{a,q,x}(t) $ 定义为 $ \psi_{a,q,x}(u) $ 的Fenchel-Legendre变换，后者涉及联合密度 $ g(x,y) $、核 $ K $ 与缩放增量的积分。
• 对于MDP，速度序列 $ v_n $ 满足 $ \lim v_n = \infty $，$ \lim v_n^2 / (n h_n) = 0 $，且 $ \lim v_n h_n^2 = 0 $，以确保中间偏差尺度。
• MDP速率函数通过累积量生成函数 $ \psi_{a,q,x}''(u) $ 的二阶导数推导，证实其严格凸性与良好速率函数性质。
• 分析依赖于Cramér变换及累积量生成函数的性质，根据误差分布的支集进行情形划分。

实验结果

研究问题

• RQ1 在一般带宽与权重序列下，平均随机逼近估计量是否满足大偏差原理？
• RQ2 平均随机逼近估计量的LDP速率函数的确切形式为何？
• RQ3 平均随机逼近估计量的LDP速率函数与Nadaraya-Watson核估计器的速率函数相比如何？
• RQ4 平均随机逼近估计量的MDP速率函数是否大于Nadaraya-Watson估计器与半递归估计器的速率函数？
• RQ5 带宽 $ h_n $ 与权重 $ q_n $ 需满足何种条件，才能使速率函数在偏差行为上达到最优？

主要发现

• 当使用最小化渐近方差的权重时，平均随机逼近估计量的LDP速率函数与Nadaraya-Watson核估计器的速率函数完全一致。
• 当使用最优权重时，平均随机逼近估计量的MDP速率函数严格大于Nadaraya-Watson估计器与半递归估计器的速率函数。
• 速率函数 $ I_{a,q,x}(t) $ 在 $ (0,\infty) $ 上严格凸且可微，其导数为 $ I'_{a,q,x}(t) = (\psi'_{a,q,x})^{-1}(t) $，确保了良好的大偏差行为。
• 累积量生成函数 $ \psi_{a,q,x}(u) $ 严格凸且无限次可微，且对所有 $ u \in \mathbb{R} $ 满足 $ \psi_{a,q,x}''(u) > 0 $，从而保证了良好的速率函数性质。
• 当误差分布的支集同时包含正负增量时，$ \psi'_{a,q,x} $ 的值域为 $ \mathbb{R} $，使得速率函数在整个实轴上均有定义。
• 当误差分布的支集在 $ S_+ \cap T_+ $ 或 $ S_- \cap T_- $ 上非退化时，速率函数 $ I_{a,q,x}(0) $ 为有限正数，表明在零偏差处存在非平凡的偏差行为。