[論文レビュー] Nonparametric Estimation of the Regression Function in an Errors-in-Variables Model

Fabienne Comte, Marie‐Luce Taupin|arXiv (Cornell University)|Nov 4, 2005

Statistical Methods and Inference参考文献 15被引用数 13

ひとこと要約

本稿では、deconvolution技術と適応的ペナルティ付きコントラスト推定量を活用して、誤差のある変数を伴う回帰モデルにおける回帰関数の非パラメトリック推定法を提案する。誤差密度および回帰関数の滑らかさに関するさまざまな仮定の下で、推定量の最適収束速度を確立し、誤差が通常の滑らかさまたは超滑らかである場合に、推定量がミニマックスレートに達することを示している。

ABSTRACT

We consider the regression model with errors-in-variables where we observe $n$ i.i.d. copies of $(Y,Z)$ satisfying $Y=f(X)+ξ, Z=X+σε$, involving independent and unobserved random variables $X,ξ,ε$. The density $g$ of $X$ is unknown, whereas the density of $σε$ is completely known. Using the observations $(Y\_i, Z\_i)$, $i=1,...,n$, we propose an estimator of the regression function $f$, built as the ratio of two penalized minimum contrast estimators of $\ell=fg$ and $g$, without any prior knowledge on their smoothness. We prove that its $\mathbb{L}\_2$-risk on a compact set is bounded by the sum of the two $\mathbb{L}\_2(\mathbb{R})$-risks of the estimators of $\ell$ and $g$, and give the rate of convergence of such estimators for various smoothness classes for $\ell$ and $g$, when the errors $ε$ are either ordinary smooth or super smooth. The resulting rate is optimal in a minimax sense in all cases where lower bounds are available.

研究の動機と目的

• 測定誤差を伴う回帰関数の非パラメトリック推定量を開発すること。
• 誤差密度が未知であり、通常の滑らかさまたは超滑らかである場合の回帰関数推定の課題に対処すること。
• 誤差密度および潜在関数の滑らかさに関するさまざまな仮定の下で、推定量の最適収束速度を導出すること。
• 誤差密度と回帰関数が同じ滑らかさ特性を持つ場合に、提案された推定量がミニマックス収束レートに達することを示すこと。
• 同時推定を行う場合の推定量の性能を調査し、推定量が最適となる条件を同定すること。

提案手法

• 推定量は、回帰関数と説明変数の密度の積 ℓ = f·g を推定するdeconvolutionアプローチを用いる。
• ℓ および g のペナルティ付きコントラスト推定量を用い、次元選択は期待二乗誤差を最小化する基準に基づく。
• バイアスとバリアンスのバランスをとるために、切り捨てレベル D_m̆_ℓ および D_m̆_g を用いた基底展開により推定量を構築する。
• リスクバウンドにおける経験プロセス項を制御するために、Talagrand型の集中不等式を適用する。
• 経験プロセスを回帰関数に依存する項と誤差に依存する項に分解し、ペナルティ付き推定量のリスクに対する上界を導出する。
• 最終的な f の推定量は、推定された ℓ と g の比として得られ、その収束速度について理論的保証が与えられる。

実験結果

リサーチクエスチョン

• RQ1 誤差密度が通常の滑らかさまたは超滑らかである場合、誤差のある変数モデルにおける非パラメトリック回帰の最適収束速度は何か？
• RQ2 誤差密度および回帰関数の滑らかさに関する異なる仮定の下で、提案された推定量がミニマックス収束レートに達するか？
• RQ3 推定量の性能は、誤差密度および説明変数密度の滑らかさにどのように依存するか？
• RQ4 回帰関数が説明変数密度よりも滑らかである場合、推定量が最適となる条件は何か？
• RQ5 未知の滑らかさパラメータに対して、この手法を、潜在関数の正則性に関する事前知識なしに適応的に適用可能か？

主な発見

• 誤差密度が通常の滑らかさで r_ℓ = r_g = 0 の場合、最適収束速度は O(n^{-2a^*/(2a^* + 2α + 1)}) である。ここで a^* = min(a_ℓ, a_g) である。
• 誤差密度が超滑らかで r_ℓ = r_g = 0 の場合、収束速度は O((ln n)^{-2a^*/ρ}) であり、これは n の任意の負のべきよりも速いが、ln n の任意のべきよりも遅い。
• 超滑らかな誤差で r_ℓ > 0 かつ r_g > 0 の場合、収束速度は O(ln(n)^{(2α+1)/r*}/n) である。ここで r^* = min(r_ℓ, r_g) であり、この速度は ln n の任意のべきよりも速い。
• 回帰関数と説明変数密度が同じ滑らかさを持つ場合、推定量はミニマックス収束レートに達する。これは Fan (1991a)、Butucea (2004)、および Butucea と Tsybakov (2004) の結果と一致する。
• 密度 g が回帰関数 f よりも滑らかである場合、推定量は依然として最適であるが、f が g よりも滑らかである場合、最適性は確立されていない。これは比ベースの推定量の限界を示している。
• 最終推定量 ̂f_̆m_ℓ,̆m_g のリスクバウンドは、ℓ および g の推定量のリスクのうちより悪い方によって支配され、関数および誤差分布の弱いモーメントと正則性条件の下で成り立つ。