[論文レビュー] Large and moderate deviations principles for recursive kernel estimators of a multivariate density and its partial derivatives

Abdelkader Mokkadem, Mariane Pelletier+1 more|arXiv (Cornell University)|Jan 18, 2006

Statistical Methods and Inference参考文献 12被引用数 5

ひとこと要約

本稿は、多次元確率密度およびその偏導関数の再帰的カーネル推定量について、大偏差原理（LDP）および中程度偏差原理（MDP）を確立する。密度推定量はLDP下で非二次のレート関数を示すが、導関数推定量はLDPおよびMDPの両下で二次のレート関数を示し、バンドウイズシーケンスおよびカーネルの性質に依存する明示的なスピードおよびレート関数の式が得られる。

ABSTRACT

In this paper we prove large and moderate deviations principles for the recursive kernel estimator of a probability density function and its partial derivatives. Unlike the density estimator, the derivatives estimators exhibit a quadratic behavior not only for the moderate deviations scale but also for the large deviations one. We provide results both for the pointwise and the uniform deviations.

研究の動機と目的

• 再帰的カーネル推定量の多次元確率密度に対する大偏差原理（LDP）および中程度偏差原理（MDP）を導出すること。
• 特に、変動するバンドウイズシーケンス下での導関数推定量の漸近的挙動、特にその偏差特性を分析すること。
• 再帰的推定の文脈において、点ごとの偏差および一様偏差の両方のレート関数を特徴づけること。
• 非i.i.d.な更新ダイナミクスを持つ再帰的カーネル推定量に、Rosenblattカーネル推定量に関する既存の結果を拡張すること。

提案手法

• 特定のバンドウイズシーケンス $ h_n = c n^{-a} $（$ a \in (0, 1/d) $）の下で、再帰的密度推定量 $ f_n(x) $ の大偏差原理（LDP）を導出する。
• 正則変動するバンドウイズ $ h_n = h(n) $（指数 $ -a $、$ a \in (0, 1/(d + 2|\alpha|)) $）を用いて、導関数推定量 $ \partial^{[\alpha]}f_n(x) $ のLDPを確立する。
• カーネル $ K $ を含む $ [0,1] \times \mathbb{R}^d $ 上の積分によって定義される累積生成関数 $ \psi(u) $ のFenchel-Legendre変換を用いる。
• 一般のバンドウイズにおいて、$ v_n^2 / \sum_i h_i^{d+2|\alpha|} \to 0 $（$ v_n \to \infty $）を満たす条件下で、密度および導関数推定量の両方の小偏差原理（MDP）を証明する。
• 集中不等式および一様可積分性の議論を用いて、経験平均とその期待値との乖離を制御する。
• 再帰的更新式 $ f_n(x) = \frac{n-1}{n}f_{n-1}(x) + \frac{1}{n h_n^d} K\left(\frac{x - X_n}{h_n}\right) $ を用いて、偏差解析のためのマルティンゲール型構造を導出する。

実験結果

リサーチクエスチョン

• RQ1 多変量密度の再帰的カーネル推定量について、多項式的バンドウイズ減衰下での大偏差はどのように振る舞うか？
• RQ2 再帰的更新下での導関数推定量のレート関数の構造は何か？また、密度推定量とはどのように異なるか？
• RQ3 再帰的密度推定量が中程度偏差原理（MDP）を満たすための条件は何か？
• RQ4 導関数推定量のレート関数は、密度 $ f(x) $ にどのように依存するか、特に $ f(x) = 0 $ の場合にどうなるか？
• RQ5 再帰的推定量の偏差挙動は、コンパクト集合上で一様に特徴づけられるか、それとも点ごとのみか？

主な発見

• バンドウイズ $ h_n = c n^{-a} $ の下で再帰的密度推定量 $ f_n(x) - f(x) $ は、スピード $ \sum_{i=1}^n h_i^d $ およびレート関数 $ I_x(t) = f(x)(1 - ad) I\left( \frac{t}{f(x)(1 - ad)} + \frac{1}{1 - ad} \right) $ の大偏差原理（LDP）を満たす。ここで $ I $ は $ \psi(u) $ のFenchel-Legendre変換である。
• 導関数推定量 $ \partial^{[\alpha]}f_n(x) $ のLDPは、$ f(x) \neq 0 $ のとき二次のレート関数 $ J_{[\alpha],x}(t) = \frac{t^2 (1 - a^2(d + 2|\alpha|)^2)}{2f(x) \int_{\mathbb{R}^d} [\partial^{[\alpha]}K(z)]^2 dz} $ を示し、$ f(x) = 0 $ では $ t \neq 0 $ のとき $ J_{[\alpha],x}(t) = \infty $ となる。
• 条件 $ \lim_{n \to \infty} \frac{v_n^2}{\sum_{i=1}^n h_i^{d+2|\alpha|}} = 0 $ の下で、密度および導関数推定量の両方のMDPが成立し、スピードは $ \sum_{i=1}^n h_i^{d+2|\alpha|} $ である。
• 密度推定量のレート関数は非二次的であり、$ s \in [0,1] $ および $ z \in \mathbb{R}^d $ を含む積分を含む累積生成関数 $ \psi(u) $ に明示的に依存する。
• $ f(x) \neq 0 $ のとき、レート関数 $ J_{[\alpha],x}(t) $ は $ (0, \infty) $ 上で強凸かつ無限回微分可能であり、$ t = 0 $ に唯一の最小値をとる。
• 解析により、導関数推定量は密度推定量とは異なり、大偏差および中程度偏差の両領域で二次的挙動を示すことが明らかになった。