[論文レビュー] Large and moderate deviation principles for recursive kernel density estimators defined by stochastic approximation method

Yousri Slaoui|arXiv (Cornell University)|Jan 27, 2013

Markov Chains and Monte Carlo Methods参考文献 14被引用数 10

ひとこと要約

本稿は、確率的近似アルゴリズムを用いて構築された再帰的カーネル密度推定器について、大偏差原理（LDP）および中程度偏差原理（MDP）を確立する。最適なステップサイズ選択、特に分散を最小化する選択をした場合、密度関数およびカーネルに関する正則性条件の下で、点単位および一様に、古典的なRosenblattカーネル推定器と同一のLDPおよびMDPのレート関数を達成することが示される。

ABSTRACT

In this paper we prove large and moderate deviations principles for the recursive kernel estimators of a probability density function defined by the stochastic approximation algorithm introduced by Mokkadem et al. [2009. The stochastic approximation method for the estimation of a probability density. J. Statist. Plann. Inference 139, 2459-2478]. We show that the estimator constructed using the stepsize which minimize the variance of the class of the recursive estimators defined in Mokkadem et al. (2009) gives the same pointwise LDP and MDP as the Rosenblatt kernel estimator. We provide results both for the pointwise and the uniform deviations.

研究の動機と目的

• 再帰的カーネル密度推定器のための大偏差原理（LDP）および中程度偏差原理（MDP）を、確率的近似に基づいて導出すること。
• 再帰的推定フレームワークにおける分散を最小化する最適なステップサイズ列を特定すること。
• Rosenblattの古典的非再帰的推定器と比較して、再帰的推定器の偏差行動を評価すること。
• 帯域幅およびステップサイズ列の一般な正則変動条件の下で、点単位および一様な偏差原理を確立すること。
• 分散を最小化するステップサイズを用いた再帰的推定器が、Rosenblatt推定器と同一のLDPおよびMDPのレート関数を達成することを示すこと。

提案手法

• 各点における密度推定値を、以前の推定値とカーネルに基づく観測値の重み付き平均を用いて再帰的に更新する確率的近似アルゴリズムを用いる。
• ステップサイズ $\gamma_n$ と帯域幅 $h_n$ を用いたRobbins-Monroスキームを適用し、$f_n(x) = (1 - \gamma_n)f_{n-1}(x) + \gamma_n h_n^{-d} K((x - X_n)/h_n)$ と定式化する。
• 収縮原理およびラプラス法を用いて、大偏差および中程度偏差理論を応用し、レート関数を導出する。
• レート関数 $I_x(t)$ を、カーネル $K$ を含むモーメント母関数のLegendre-Fenchel変換として導出する。
• 一般な帯域幅列（特に $h_n = c n^{-a}$ で $a \in (0, 1/d)$）を扱うために、$\gamma_n$ および $h_n$ の正則変動仮定を用いる。
• 一様偏差の場合の尾確率を制御するために、集中不等式およびモーメントバウンドを用い、特に非有界領域に対しても有効である。

実験結果

リサーチクエスチョン

• RQ1 最適なステップサイズ選択下で、再帰的カーネル密度推定器が満たす大偏差原理（LDP）は何か？
• RQ2 分散を最小化するステップサイズを用いた再帰的推定器は、Rosenblatt推定器と同一のLDPレート関数を達成するか？
• RQ3 一般なステップサイズ列の下で、再帰的推定器の行動を支配する中程度偏差原理（MDP）は何か？
• RQ4 異なる帯域幅およびステップサイズの選択において、点単位および一様なLDP/MDPレートはどのように比較されるか？
• RQ5 正則変動およびモーメント仮定を用いて、非有界領域における再帰的推定器の一様偏差行動は制御可能か？

主な発見

• ステップサイズ $\gamma_n = n^{-1}$ および $h_n = c n^{-a}$（$a \in (0, 1/d)$）を用いた再帰的推定器は、速度 $n h_n^d$ およびレート関数 $I_{a,x}(t) = f(x) I_a(1 + t/f(x))$（$f(x) \neq 0$）を満たす点単位LDPを満たす。
• ステップサイズ $\gamma_n = h_n^d \left(\sum_{k=1}^n h_k^d\right)^{-1}$ を用いた再帰的推定器は、Rosenblatt推定器と同一のLDPレート関数を達成し、$I_x(t) = f(x) I(1 + t/f(x))$ となる。ここで $I(t) = \sup_u \{ut - \psi(u)\}$ および $\psi(u) = \int_{\mathbb{R}^d} (e^{uK(z)} - 1) dz$ である。
• 中程度偏差において、$\gamma_n = \gamma(n)$ が指数 $-\alpha$ で正則変動する場合、速度 $v_n^2$ のMDPが成立し、カーネルのモーメント母関数を用いてレート関数が導出される。
• 一様LDPについて、$\sup_{x \in U} v_n |\Psi_n(x)| \geq \delta$ の上界は、モーメントおよび正則変動条件の下で確立され、$\limsup \frac{\gamma_n v_n^2}{h_n^d} \log \mathbb{P}(\cdots) \leq -\frac{\beta}{\beta + d} \tilde{g}_U(\delta)$ が成り立つ。
• 一様MDPのレート関数は、指数モーメントバウンドと $w_n = \exp(b h_n^d / (\gamma_n v_n^2))$ を用いた尾の制御を組み合わせることでタイトであることが示される。
• 結果は、分散を最小化する再帰的推定器が、非再帰的Rosenblatt推定器と同様の大偏差および中程度偏差行動を点単位および一様な両状況で継承していることを確認する。