[論文レビュー] Estimating the error distribution function in nonparametric regression

Ursula U. Müller, Anton Schίck+1 more|arXiv (Cornell University)|Oct 3, 2018

Statistical Methods and Inference被引用数 1

ひとこと要約

本稿では、非パラメトリック回帰における誤差分布関数の効率的推定量を、カーネルスムージングとアンダースムージングされたローカル2次スムージングによる残差を組み合わせることで提案する。主な結果は、漸近的等価性であり、誤差の平均ゼロ制約を組み込み、効率的影響関数と一致させることで、最小漸近分散を達成する推定量であることを確立する。

ABSTRACT

We construct an efficient estimator for the error distribution function of the nonparametric regression model Y = r(Z) + e. Our estimator is a kernel smoothed empirical distribution function based on residuals from an under-smoothed local quadratic smoother for the regression function.

研究の動機と目的

• 回帰関数が未知である非パラメトリック回帰における誤差分布関数の効率的推定量を開発すること。
• 回帰関数が不明な状態で誤差分布を推定する課題に取り組み、標準的な経験的推定量ではバイアスと非効率性が生じることを明らかにすること。
• 誤差の平均ゼロ制約を活用することで、最小の可能な漸近分散を達成する推定量を構築すること。
• 提案された推定量と真の分布関数＋補正項との間の漸近的等価性を確立し、効率性を確認すること。

提案手法

• 推定量は、回帰関数のためのアンダースムージングされたローカル2次スムージングからの残差に基づくカーネルスムージングされた経験的分布関数である。
• 回帰関数推定量が最適な n−1/2 速度に収束しないようにアンダースムージングを用いることで、誤差分布推定量の効率性を保つ。
• 推定量が真の分布関数＋誤差密度と残差を含む補正項と漸近的に等価であることが示されている。
• 証明にはテイラー展開、退化U統計量、および誤差密度のリプシッツ連続性と適切なバンド幅選択のもとでのモーメントバウンドが用いられる。
• 理論的裏付けには影響関数分析とi.i.d.平均ゼロ観測値からの効率的影響関数との比較が用いられる。
• 技術的道具には残差のモーメントバウンド、極端な誤差の切り捨て、およびカーネルと密度スムージングを用いた漸近近似が含まれる。

実験結果

リサーチクエスチョン

• RQ1 回帰関数が未知である非パラメトリック回帰において、誤差分布関数の効率的推定量を構築することは可能か？
• RQ2 アンダースムージングされたローカル2次スムージングからの残差をカーネルスムージングすることで、効率的影響関数を達成する推定量が得られるか？
• RQ3 提案された推定量の漸近分散は何か？ また、真の誤差に基づく経験的推定量と比べてどうなるか？
• RQ4 真の誤差に基づく経験的推定量はなぜ非効率的なのか？ そして、提案手法はこの非効率性をどのように是正するか？
• RQ5 推定量の効率性は、誤差密度の滑らかさおよび回帰関数の微分可能性にどの程度依存するか？

主な発見

• 提案された推定量 ˆF∗(t) は、F(t) と f(t) および平均残差を含む補正項との間で漸近的に等価であり、その差は確率的に n−1/2 速度で0に収束する。
• ˆF∗(t) の影響関数は、平均ゼロ誤差の下で F(t) の効率的影響関数と一致しており、その効率性が確認される。
• 正規誤差の場合、ˆF∗(t) の漸近分散は真の誤差に基づく経験的推定量のそれよりも厳密に小さくなる。これは平均ゼロ制約を活用しているためである。
• 完全に効率的な推定量との分散の増加は (σf(t) − σ−1∫∞t xf(x)dx)² で与えられ、正規誤差ではこの値は0に収束する。
• 推定量は F(t) を推定するための最小の可能な漸近分散を達成しており、任意の有限個の点 t1 < ··· < tk に対して最も分散が小さい正則推定量である。
• この手法は未知の回帰関数に対してロバストであり、アンダースムージングと残差のカーネルスムージングを用いることで効率性を維持する。