[論文レビュー] Convergence rates for pointwise curve estimation with a degenerate design

Stéphane Gaïffas|arXiv (Cornell University)|Oct 15, 2004

Statistical Methods and Inference参考文献 16被引用数 21

ひとこと要約

本稿は、推定点で退化（消えたり発散したりする）密度をもつ設計における非パラメトリック点別回帰推定の最小最大収束速度を確立する。回帰関数の連続性モジュラスと設計密度の正則変動仮定のもとで、最小最大速度は $ n^{-s/(1+2s+\beta)}\tilde{\nu}(n) $ であることが示され、ここで $ s $ と $ \beta $ は滑らかさと設計の挙動を制御し、$ \tilde{\nu}(n) $ はゆっくり変動する関数である。

ABSTRACT

The nonparametric regression with a random design model is considered. We want to recover the regression function at a point x where the design density is vanishing or exploding. Depending on assumptions on the regression function local regularity and on the design local behaviour, we find several minimax rates. These rates lie in a wide range, from slow l(n) rates where l(.) is slowly varying (for instance (log n)^(-1)) to fast n^(-1/2) * l(n) rates. If the continuity modulus of the regression function at x can be bounded from above by a s-regularly varying function, and if the design density is b-regularly varying, we prove that the minimax convergence rate at x is n^(-s/(1+2s+b)) * l(n).

研究の動機と目的

• 推定点で設計密度が消えたり発散したりする非パラメトリック回帰における最小最大点別推定リスクを特定すること。
• 従来の非退化設計に限定されていた古典的最小最大結果を、退化設計の挙動を組み込むことで拡張すること。
• 回帰関数の局所的滑らかさと設計密度の局所的挙動に正則変動仮定をおくことで、鋭い収束速度を導出すること。
• 非一様情報下での局所線形推定に関する先行研究を統合・一般化すること、特に $ \beta > 0 $ および $ -1 < \beta < 0 $ の場合に焦点を当てる。
• 非パラメトリック回帰における設計の退化が推定精度に与える影響を理解するための体系的フレームワークを提供すること。

提案手法

• Hölder型関数族を用いた最小最大リスク枠組みを採用し、$ s $-正則変動する連続性モジュラスと $ \beta $-正則変動する設計密度を仮定する。
• 正則変動理論（Karamataの定理、一般逆関数）および $ \Gamma $-変動を用いて、積分およびノルムの漸近的挙動を分析する。
• 局所多項式型推定量を構築し、モーメント不等式および尾確率推定を用いてその点別リスクの上界を導出する。
• 設計重み付き積分の漸近的解析を通じてバイアスとバイアスのバランスをとることで、最小最大速度を導出する。
• 関数の逆算および補助関数を用いて、設計密度の挙動と回帰関数の滑らかさの局所的性質を最終的な収束速度に関連付ける。
• 正則変動関数のアーベルの定理を用いて、ゆっくり変動関数とべき関数を含む積分の漸近的挙動を制御する。

実験結果

リサーチクエスチョン

• RQ1 推定点で設計密度が消えたり発散したりする非パラメトリック点別回帰における最小最大収束速度は何か？
• RQ2 回帰関数の局所的滑らかさ（$ s $-正則変動する連続性モジュラスで測る）と設計密度の局所的挙動（$ \beta $-正則変動で測る）が、推定精度にどのように作用するか？
• RQ3 古典的な $ n^{-s/(1+2s)} $ 速度は退化設計に一般化可能か？ もしそうなら、どのような形で一般化されるか？
• RQ4 ゆっくり変動関数と正則変動は、非一様設計下での収束速度の特徴づけにどのような役割を果たすか？
• RQ5 導出された速度は最小最大意味で最適であり、非退化ケースにおける既知の速度と比べてどう異なるか？

主な発見

• 設計密度が退化する点 $ x_0 $ における最小最大収束速度は $ n^{-s/(1+2s+\beta)}\tilde{\nu}(n) $ である。ここで $ s $ は回帰関数の滑らかさインデックスであり、$ \beta $ は設計密度の局所的挙動を特徴付ける。
• 設計密度が $ x^\beta $ のように $ x_0 $ 近傍で振る舞い、回帰関数が $ s $-正則変動する連続性モジュラスを持つ場合、速度は滑らかさと情報量の間のトレードオフを反映する。
• 速度は $ s $ と $ \beta $ に応じて、非常に遅い $ \ell(n) $-型速度（例：$ (\log n)^{-1} $）から速い $ n^{-1/2}\ell(n) $ まで広範なスケールをカバーし、推定の難易度の広がりを示す。
• 正則変動および $ \Gamma $-変動技術を用いた上界と下界の一致により、速度が最小最大意味で最適であることが確認された。
• $ \Gamma $-変動および $ \Pi $-変動の使用により、積分および逆関数の漸近的挙動の洗練された分析が可能となり、正確な速度の導出に不可欠である。
• Hallら（1997）およびGuerre（1999）の先行研究を一般化し、$ s=2 $ および $ \beta > 0 $ の場合にその $ n^{-4/(5+\beta)} $ 速度を特別な場合として回復する。