[論文レビュー] Large and moderate deviation principles for averaged stochastic approximation method for the estimation of a regression function

Yousri Slaoui|arXiv (Cornell University)|Apr 29, 2013

Simulation Techniques and Applications参考文献 6被引用数 8

ひとこと要約

本稿は、非パラメトリック回帰推定に用いられる平均化された確率的近似アルゴリズムについて、大偏差原理（LDP）および中程度偏差原理（MDP）を確立する。重み列が漸近的分散を最小化する場合、LDPのレート関数はナダラヤ＝ワトソンカーネル推定量のそれと一致するが、MDPのレート関数は、ナダラヤ＝ワトソン推定量および準再帰的推定量のそれよりも大きいことが示された。

ABSTRACT

In this paper we prove large deviations principles for the averaged stochastic approximation method for the estimation of a regression function introduced by A. Mokkadem et al. [Revisiting Révész's stochastic approximation method for the estimation of a regression function, ALEA Lat. Amm. J. Probab. Math. Stat. 6 (2009), 63-114]. We show that the averaged stochastic approximation algorithm constructed using the weight sequence which minimize the asymptotic variance gives the same pointwise LDP as the Nadaraya-Watson kernel estimator. Moreover, we give a moderate deviations principle for these estimators. It turns out that the rate function obtained in the moderate déviations principle for the averaged stochastic approximation algorithm constructed using the weight sequence which minimize the asymptotic variance is larger than the one obtained for the Nadaraya-Watson estimator and the one obtained for the semi-recursive estimator.

研究の動機と目的

• 回帰関数の平均化された確率的近似推定量について、大偏差原理（LDP）を確立すること。
• 一般の重み列およびバンド幅列の下で、同じ推定量について中程度偏差原理（MDP）を導出すること。
• 平均化された確率的近似推定量のレート関数を、ナダラヤ＝ワトソン推定量および準再帰的推定量のそれと比較すること。
• バンド幅 $ h_n = c n^{-a} $ および重み $ q_n = c' n^{-q} $ に対して、最適な偏差レートをもたらす条件を特定すること。
• 最適な重み列（漸近的分散を最小化するもの）が、ナダラヤ＝ワトソン推定量と同一のLDPレート関数をもたらすことを示すこと。

提案手法

• 平均化された確率的近似推定量は $ \overline{r}_n(x) = \frac{1}{\sum_{k=1}^n q_k} \sum_{k=1}^n q_k r_k(x) $ で定義され、ここで $ r_k(x) $ はカーネル重み付き観測値に基づくロビンズ＝モンロー型の更新に従う。
• LDPは、$ h_n = c n^{-a} $ で $ a \in (1-\alpha, (4\alpha-3)/2) $、$ \alpha \in (3/4,1] $、および $ q_n = c' n^{-q} $ で $ q < \min\{1-2a, (1+a)/2\} $ という条件下で導出される。
• レート関数 $ I_{a,q,x}(t) $ は、関数 $ \psi_{a,q,x}(u) $ のFenchel-Legendre変換として定義され、これには関連密度 $ g(x,y) $、カーネル $ K $、およびスケーリングされた増分の積分が含まれる。
• MDPでは、速度列 $ v_n $ が $ \lim v_n = \infty $、$ \lim v_n^2 / (n h_n) = 0 $、および $ \lim v_n h_n^2 = 0 $ を満たし、中間的偏差スケーリングを保証する。
• MDPのレート関数は、モーメント母関数 $ \psi_{a,q,x}''(u) $ の2階微分を用いて導出され、これは強い凸性および良好なレート関数の性質を確認する。
• 解析はCramér変換およびモーメント母関数の性質に依存し、誤差分布の台に応じた場合分けが行われる。

実験結果

リサーチクエスチョン

• RQ1 平均化された確率的近似推定量は、一般のバンド幅列および重み列の下で大偏差原理を満たすか？
• RQ2 平均化された確率的近似推定量のLDPのレート関数の正確な形は何か？
• RQ3 平均化された確率的近似推定量のLDPレート関数は、ナダラヤ＝ワトソンカーネル推定量のそれとどのように比較できるか？
• RQ4 平均化された確率的近似推定量のMDPレート関数は、ナダラヤ＝ワトソン推定量および準再帰的推定量のそれよりも大きいのか？
• RQ5 バンド幅 $ h_n $ および重み $ q_n $ に対して、偏差挙動の観点で最適なレート関数をもたらす条件は何か？

主な発見

• 漸近的分散を最小化する重みを用いた平均化された確率的近似推定量のLDPレート関数は、ナダラヤ＝ワトソンカーネル推定量のそれと完全に一致する。
• 最適な重みを用いた平均化された確率的近似推定量のMDPレート関数は、ナダラヤ＝ワトソン推定量および準再帰的推定量のそれよりも厳密に大きい。
• レート関数 $ I_{a,q,x}(t) $ は $ (0,\infty) $ 上で強く凸かつ無限回微分可能であり、導関数 $ I'_{a,q,x}(t) = (\psi'_{a,q,x})^{-1}(t) $ を持つため、良好な大偏差挙動が保証される。
• モーメント母関数 $ \psi_{a,q,x}(u) $ は強く凸かつ無限回微分可能であり、すべての $ u \in \mathbb{R} $ に対して $ \psi_{a,q,x}''(u) > 0 $ が成り立つため、良好なレート関数が保証される。
• 誤差分布の支持が正負の両方の増分を含む場合、$ \psi'_{a,q,x} $ の値域は $ \mathbb{R} $ となるため、レート関数が実数直線全体で定義可能となる。
• 誤差分布の支持が $ S_+ \cap T_+ $ または $ S_- \cap T_- $ で非退化である場合、$ I_{a,q,x}(0) $ は有限かつ正であり、ゼロの偏差における非自明な挙動を示す。