[論文レビュー] Revisiting Révész's stochastic approximation method for the estimation of a regression function

Abdelkader Mokkadem, Mariane Pelletier+1 more|ArXiv.org|Dec 20, 2008

Simulation Techniques and Applications参考文献 36被引用数 24

ひとこと要約

この論文は、回帰関数推定のための Révész の確率的近似法を再考し、平均化原理を用いることで、推定量が最適な $n^{-2/5}$ 収束速度を達成することを示している。これは Nadaraya-Watson と同等であり、密度に関する厳密な仮定を緩和する。平均化された Révész 推定量は、元の推定量に比べて収束速度とロバスト性の両面で優れており、特に信頼区間推定において顕著な改善を示す。

ABSTRACT

In a pioneer work, Révész (1973) introduces the stochastic approximation method to build up a recursive kernel estimator of the regression function $x\mapsto E(Y|X=x)$. However, according to Révész (1977), his estimator has two main drawbacks: on the one hand, its convergence rate is smaller than that of the nonrecursive Nadaraya-Watson's kernel regression estimator, and, on the other hand, the required assumptions on the density of the random variable $X$ are stronger than those usually needed in the framework of regression estimation. We first come back on the study of the convergence rate of Révész's estimator. An approach in the proofs completely different from that used in Révész (1977) allows us to show that Révész's recursive estimator may reach the same optimal convergence rate as Nadaraya-Watson's estimator, but the required assumptions on the density of $X$ remain stronger than the usual ones, and this is inherent to the definition of Révész's estimator. To overcome this drawback, we introduce the averaging principle of stochastic approximation algorithms to construct the averaged Révész's regression estimator, and give its asymptotic behaviour. Our assumptions on the density of $X$ are then usual in the framework of regression estimation. We prove that the averaged Révész's regression estimator may reach the same optimal convergence rate as Nadaraya-Watson's estimator. Moreover, we show that, according to the estimation by confidence intervals point of view, it is better to use the averaged Révész's estimator rather than Nadaraya-Watson's estimator.

研究の動機と目的

• Révész (1977) とは異なる新しい解析的手法を用いて、Révész の再帰的カーネル推定量を再表現し、収束速度の tighter 分析を可能にする。
• Révész の元の推定量の2つの主な欠点、すなわち、非最適な収束速度と設計密度 $f(x)$ に対する過度に強い仮定を解消すること。
• 確率的近似アルゴリズムに平均化原理を導入し、標準的な密度仮定のもとで最適な収束速度を達成する新しい推定量を構築すること。
• 信頼区間推定において、平均化された Révész 推定量と Nadaraya-Watson を比較し、性能の向上を示すこと。

提案手法

• ステップサイズ $\gamma_n = 1/n$ を用いた確率的近似アルゴリズムとして、Révész の再帰的推定量を再定式化し、カーネル加重更新を適用する。
• 推定量 $r_n(x)$ の振る舞いを追跡する観察不可能な近似列 $\rho_n(x)$ を導入し、マルティンゲール技術を用いた漸近的解析を可能にする。
• Révész の推定量に平均化原理を適用し、再帰的経路を平滑化し、収束性を向上させる新しい平均化推定量を構築する。
• マルティンゲール差分列を用い、誤差過程の二次変動を制御するための指数モーメントの上限を適用する。
• 誤差項の一様可積分性とモーメント条件を用いて、推定量の $L^2$-誤差をバインドすることで収束速度を確立する。
• 関数 $\Phi_c(\lambda) = \mathbb{E}[\exp(\lambda M) \mathbb{1}_{\{\lambda M \leq c\}}]$ を活用し、尾部の挙動を制御し、誤差過程に対する一様バインドを導出する。

実験結果

リサーチクエスチョン

• RQ1 Révész の再帰的回帰推定量は、別の証明技法を用いることで、最適な $n^{-2/5}$ 収束速度を達成できるか？
• RQ2 Révész (1977) で要請された強い密度仮定は、再帰的推定量に本質的に必要なのか、それとも緩和可能か？
• RQ3 Révész のアルゴリズムに平均化原理を適用することで、一貫性があり、収束速度が向上し、仮定が軽減された推定量が得られるか？
• RQ4 信頼区間推定において、平均化された Révész 推定量は Nadaraya-Watson に比べて性能が優れているか？
• RQ5 マルティンゲール極限定理と一様モーメントバインドを用いて、平均化された Révész 推定量の漸近的挙動を特徴づけられるか？

主な発見

• 新しい証明技法のもとで、元の Révész 推定量は最適な $n^{-2/5}$ 収束速度を達成し、これは Nadaraya-Watson 推定量と同等である。
• Révész の推定量に平均化原理を適用することで、標準的な密度仮定（$f(x) > 0$）のもとで同じ最適な収束速度を達成する新しい推定量が得られ、Révész (1977) の主な欠点が解消される。
• 理論的比較により、信頼区間推定において、平均化された Révész 推定量は Nadaraya-Watson よりも優れた性能を示すことが明らかになった。
• 証明技法は、再帰的列を観察不可能なプロセス $\rho_n(x)$ で近似することに依存しており、これによりマルティンゲール集中不等式の適用が可能になる。
• 誤差過程は、$\tilde{S}_n^{(2)} \in \mathcal{GS}(s_2^*)$ という列を用いてバインドされ、一様可積分性が保証され、$n^{-2/5}$ 速度の導出が可能になる。
• 本手法により、平均化された Révész 推定量が、同じバンド幅選択のもとで Nadaraya-Watson 推定量と同一の分散を有する漸近正規分布を有することが示された。