[论文解读] Estimating the error distribution function in nonparametric regression

Ursula U. Müller, Anton Schίck+1 more|arXiv (Cornell University)|Oct 3, 2018

Statistical Methods and Inference被引用 1

一句话总结

本文通过将核平滑与非参数回归中欠平滑局部二次平滑器的残差相结合，提出了一种误差分布函数的高效估计量。关键结果是建立了渐近等价性，证明该估计量为高效估计，通过引入误差的零均值约束并匹配高效影响函数，实现了最小渐近方差。

ABSTRACT

We construct an efficient estimator for the error distribution function of the nonparametric regression model Y = r(Z) + e. Our estimator is a kernel smoothed empirical distribution function based on residuals from an under-smoothed local quadratic smoother for the regression function.

研究动机与目标

• 在回归函数未知的情况下，为非参数回归中的误差分布函数开发一种高效估计量。
• 解决在未知回归函数时估计误差分布的挑战，该问题导致标准经验估计量存在偏差和效率低下。
• 构建一种估计量，通过利用误差的零均值约束，实现最小可能的渐近方差。
• 建立所提估计量与真实分布函数加一个校正项之间的渐近等价性，从而确认其效率。

提出的方法

• 该估计量是基于回归函数的欠平滑局部二次平滑器所得残差的核平滑经验分布函数。
• 该方法采用欠平滑，以确保回归函数估计量不以最优的 n−1/2 速率收敛，从而为误差分布估计量保留效率。
• 证明该估计量渐近等价于真实分布函数加一个涉及误差密度和残差的校正项。
• 证明依赖于泰勒展开、退化U统计量以及在误差密度满足Lipschitz连续性且带宽选择适当时所用的矩界。
• 理论依据采用影响函数分析，并与独立同分布零均值观测下的高效影响函数进行比较。
• 技术工具包括残差的矩界、极端误差的截断处理，以及利用核平滑和密度平滑的渐近近似。

实验结果

研究问题

• RQ1 当回归函数未知时，能否在非参数回归中构造出误差分布函数的高效估计量？
• RQ2 对欠平滑局部二次平滑器的残差进行核平滑，是否能产生一个达到高效影响函数的估计量？
• RQ3 所提估计量的渐近方差是多少？与基于真实误差的经验估计量相比如何？
• RQ4 为何基于真实误差的经验估计量效率低下？所提方法如何纠正这种低效？
• RQ5 估计量的效率在多大程度上依赖于误差密度的光滑性以及回归函数的可微性？

主要发现

• 所提估计量 ˆF∗(t) 渐近等价于 F(t) 加上一个涉及 f(t) 和平均残差的校正项，其差值以 n−1/2 速率依概率收敛于零。
• ˆF∗(t) 的影响函数与在误差零均值条件下的 F(t) 的高效影响函数一致，从而确认其效率。
• 对于正态误差，ˆF∗(t) 的渐近方差严格小于基于真实误差的经验估计量的方差，这是由于利用了零均值约束。
• 相较于完全高效估计量的方差增加量为 (σf(t) − σ−1∫∞t xf(x)dx)²，该量在正态误差下消失。
• 该估计量实现了估计 F(t) 的最小可能渐近方差，因此在任意有限个点 t1 < ··· < tk 上，它是方差最小的正则估计量。
• 该方法对未知回归函数具有鲁棒性，并通过使用欠平滑和残差的核平滑保持了效率。