[論文レビュー] Uniform in bandwidth consistency of local polynomial regression function estimators

Julia Dony, Uwe Einmahl+1 more|ArXiv.org|Jan 23, 2006

Statistical Methods and Inference参考文献 17被引用数 33

ひとこと要約

本稿は、より広いクラスの関数型を扱えるように一般化された経験過程技法を用いて、局所多項回帰推定器のバンド幅にわたる一様な一致性を確立する。推定誤差が与えられた範囲内のすべてのバンド幅にわたって一様に収束することを証明し、データ駆動型バンド幅選択に対しても頑健性を保証する。収束速度は、カーネルおよび設計密度の滑らかさとモーメント条件が弱く満たされる条件下で、決定的バンド幅と同一の速度に達する。

ABSTRACT

We generalize a method for proving uniform in bandwidth consistency results for kernel type estimators developed by the two last named authors. Such results are shown to be useful in establishing consistency of local polynomial estimators of the regression function.

研究の動機と目的

• 古典的な密度および回帰推定器を越えた、より広いクラスの関数型に対するカーネル型推定器のバンド幅にわたる一貫性結果を拡張すること。
• 与えられた範囲内のすべてのバンド幅にわたる局所多項回帰推定器の一様収束を確立し、データ駆動型バンド幅選択に対して頑健性を保証すること。
• 基礎密度および回帰関数の滑らかさの最小仮定の下で、局所多項回帰推定器の一貫性の理論的基盤を提供すること。
• 従来の経験過程技法を一般化し、非パラメトリック推定における従属関数族を扱うより柔軟な枠組みを導入すること。

提案手法

• 著者らは、先行研究の手法を一般化して、経験過程理論を用いてバンド幅の範囲にわたる一様収束を扱う。
• 応答変数の関数のカーネル重み付き和を含む関数型のクラスを定義し、尾部挙動を制御するための可測なエンベロープ関数を導入する。
• 関数族のエントロピーを制御し、シンメトライゼーションとラデマッハ複雑度を用いてモーメントバウンドを可能にするために、被覆数条件を課す。
• 証明は、確率1収束への還元を可能にするシンメトライゼーション不等式（不等式 A.1）に依存する。
• 被覆数に基づくモーメントバウンド（補題 A.1）を適用して、関数族上の経験過程の期待値の上界を制御する。
• バンド幅が小さくなる極限における一様連続性とバイアス制御を扱うために、畳み込み型近似（補題 A.2）を用いる。

実験結果

リサーチクエスチョン

• RQ1 設計密度および回帰関数の滑らかさの最小仮定の下で、局所多項回帰推定器のバンド幅にわたる一貫性が確立可能か？
• RQ2 与えられた区間内のすべてのバンド幅にわたる一様収束を保証するための関数族およびカーネルに必要な条件は何か？
• RQ3 推定誤差の収束速度はバンド幅にわたって一様にどのように振る舞い、決定的バンド幅列の速度と一致できるか？
• RQ4 バンド幅にわたる一貫性が成立する関数型のクラスは、古典的なカーネル密度推定およびナダラヤ＝ワトソン推定器を越えて拡張可能か？
• RQ5 被覆数およびエントロピー条件は、高次元非パラメトリック推定における関数族の複雑さを制御するために果たす役割は何か？

主な発見

• 本稿は、広いクラスの関数型に関して、バンド幅と位置でインdexされた経験過程が、範囲 $[c\log n / n, 1]$ 内のすべてのバンド幅にわたって一様に収束することを確立し、収束速度は $\sqrt{\log(1/h_n)/nh_n}$ のオーダーである。
• 一様収束速度は、決定的バンド幅列に対して知られている最良の速度と一致しており、バンド幅がデータに基づいて適応的に選択されても同様に成立する。
• 有界性、多項式的被覆数、関数族のモーメント条件が満たされる弱い条件下で、確率1で収束が成立することが示された。
• 本手法により、局所多項回帰推定器の分析が、構造化された関数族上の単一の経験過程の一様制御に還元可能である。
• 結果はバンド幅の選択に頑健であり、データ駆動型バンド幅選択が収束速度を劣化させないことを保証する。
• 従来の結果を一般化し、これまで考慮されていなかったより広い関数型のクラスを扱えるようにした。