[论文解读] Estimating nonparametric functionals efficiently under one-sided errors

Markus Reiß, Leonie Selk|arXiv (Cornell University)|Jul 16, 2014

Statistical Methods and Inference被引用 1

一句话总结

该论文提出了一种在单侧误差下对回归函数线性泛函进行高效、非参数最大似然估计的方法，利用单调性或Hölder条件等形状约束。该方法实现了非渐近UMVU效率，并在Hölder类上自动达到最优收敛速率，采用鞅停止论证和点过程几何方法。

ABSTRACT

For nonparametric regression with one-sided errors and a related continuous-time model for Poisson point processes we consider the problem of efficient estimation for linear functionals of the regression function. The optimal rate is obtained by an unbiased estimation method which never-theless depends on a Hölder condition or monotonicity assumption for the underlying regression function. We first construct a simple blockwise estimator and then build up a nonparametric maximum-likelihood approach for exponential noise vari-ables and the point process model. In that approach also non-asymptotic efficiency is obtained (UMVU: uniformly minimum variance among all un-biased estimators). In addition, under monotonicity the estimator is auto-matically rate-optimal and adaptive over Hölder classes. The proofs rely essentially on martingale stopping arguments for counting processes and the point process geometry. The estimators are easily computable and a small simulation study confirms their applicability. Key words and Phrases: frontier estimation, support estimation, Poisson point process, sufficiency, completeness, UMVU, nonparametric MLE, shape constraint, monotone

研究动机与目标

• 在回归函数满足形状约束且误差为单侧时，开发一种对回归函数线性泛函的高效估计器。
• 在连续时间Poisson点过程模型下，实现估计的非渐近效率（UMVU）。
• 在单调性约束下，确保在Hölder类上的收敛速率最优性与自适应性。
• 通过分块法与非参数MLE方法，构建计算上可行的估计器。

提出的方法

• 首先构建分块估计器，作为在单侧误差下近似回归函数的初步步骤。
• 针对指数噪声和Poisson点过程模型，发展非参数最大似然方法，确保无偏估计。
• 利用鞅停止论证分析计数过程的动力学并推导效率性质。
• 通过指数族中统计量的充分性与完备性，实现UMVU效率。
• 利用点过程几何特性刻画形状约束下似然函数的支撑与结构。
• 该方法在单调性下确保自动收敛速率最优性，并在Hölder类上实现自适应性。

实验结果

研究问题

• RQ1 在单侧误差的非参数回归中，无偏估计器能否实现非渐近UMVU效率？
• RQ2 单调性或Hölder连续性等形状约束如何提升估计效率与自适应性？
• RQ3 Poisson点过程的几何结构在构建前沿估计高效估计器中起到何种作用？
• RQ4 非参数MLE方法能否在不预先知道光滑性类别的前提下实现收敛速率最优？
• RQ5 鞅停止技术如何为估计器效率提供理论依据？

主要发现

• 所提出的估计器实现了非渐近UMVU效率，即在所有无偏估计器中具有统一最小方差。
• 在单调性条件下，估计器自动达到最优收敛速率，并在Hölder类上实现自适应性，无需调参。
• 分块估计器提供了计算上可行的初始近似，为完整非参数MLE构造提供依据。
• 利用鞅停止论证，实现了对Poisson点过程模型下计数过程的严格有限样本分析。
• 通过指数族框架中的完备性与充分性论证，确立了估计器的效率。
• 小规模模拟研究证实了该估计器的实际适用性与有限样本性能。