[论文解读] Adaptive estimation in nonparametric regression with one-sided errors

Moritz Jirak, Alexander Meister+1 more|arXiv (Cornell University)|May 28, 2013

Statistical Methods and Inference参考文献 21被引用 4

一句话总结

该论文针对具有单侧误差的非正则条件下的非参数回归，提出了一种自适应估计器，采用嵌套的Lepski方法与负Hill估计器，实现了在$ L_q $-风险下无损失的最优收敛速度，以及在点对点风险下仅有对数损失的最优收敛速度，即使在光滑度$ \beta $与锐度$ \mathfrak{a} $未知的情况下亦成立。该方法由于非正则误差结构，转而利用局部极值而非局部平均作为统计工具。

ABSTRACT

We consider the model of nonregular nonparametric regression where smoothness constraints are imposed on the regression function $f$ and the regression errors are assumed to decay with some sharpness level at their endpoints. The aim of this paper is to construct an adaptive estimator for the regression function $f$. In contrast to the standard model where local averaging is fruitful, the nonregular conditions require a substantial different treatment based on local extreme values. We study this model under the realistic setting in which both the smoothness degree $\beta>0$ and the sharpness degree $\mathfrak {a}\in(0,\infty)$ are unknown in advance. We construct adaptation procedures applying a nested version of Lepski's method and the negative Hill estimator which show no loss in the convergence rates with respect to the general $L_q$-risk and a logarithmic loss with respect to the pointwise risk. Optimality of these rates is proved for $\mathfrak{a}\in(0,\infty)$. Some numerical simulations and an application to real data are provided.

研究动机与目标

• 解决非正则误差在端点处急剧衰减的非参数回归问题，该情形下标准局部平均方法失效。
• 在光滑度$ \beta > 0 $与锐度$ \mathfrak{a} \in (0,\infty) $均未知的情况下，构建自适应估计器。
• 在$ L_q $-风险下实现无损失的最优收敛速度，在点对点风险下仅产生对数损失。
• 提供一种既实用又理论基础坚实的估计方法，适用于真实数据与模拟实验。

提出的方法

• 通过嵌套的Lepski方法实现自适应，以在未知光滑度水平下平衡偏差与方差。
• 采用负Hill估计器从数据中估计锐度参数$ \mathfrak{a} $，从而实现自适应带宽选择。
• 由于非正则误差结构，主要采用局部极值而非局部平均作为统计工具。
• 通过在小邻域内利用顺序统计量，构建对未知光滑度与锐度具有鲁棒性的估计器。
• 在$ L_q $-风险与点对点风险下分析收敛速度，对偏差与随机误差项进行精细控制。
• 通过数值模拟与真实数据应用验证该方法，证明其在实际中的可行性。

实验结果

研究问题

• RQ1 当光滑度$ \beta $与锐度$ \mathfrak{a} $均未知时，能否构建非参数回归的自适应估计器？
• RQ2 在具有单侧衰减的非正则误差模型下，如何在$ L_q $-风险下实现最优收敛速度？
• RQ3 在对未知$ \beta $与$ \mathfrak{a} $进行自适应时，点对点风险的最小损失是多少？
• RQ4 在具有急剧误差衰减的非正则回归模型中，局部极值能否替代局部平均？
• RQ5 所提出的方法在有限样本设置下是否具有鲁棒性与有效性，通过模拟与真实数据可验证？

主要发现

• 所提出的估计器在$ L_q $-风险下实现了无损失的最优收敛速度，即使在光滑度与锐度未知时亦成立。
• 在点对点风险下，该方法仅产生相对于极小极大风险的对数损失，此为给定条件下的最优结果。
• 负Hill估计器能有效估计锐度参数$ \mathfrak{a} $，从而实现自适应带宽选择。
• 嵌套的Lepski方法在非正则设定下成功平衡了未知光滑度水平下的偏差与方差。
• 数值模拟验证了理论收敛速度，并表明该方法在有限样本下具有鲁棒性。
• 真实数据应用展示了该估计器在具有单侧误差场景下的实际应用价值。