[论文解读] Adaptive asymptotically efficient estimation in heteroscedastic nonparametric regression via model selection

Leonid Galtchouk, Serguey Pergamenshchikov|ArXiv.org|Oct 7, 2008

Statistical Methods and Inference参考文献 13被引用 9

一句话总结

本文建立了基于模型选择的异方差非参数回归自适应估计程序的渐近效率。证明了该程序在较弱的方差结构条件下（包括方差依赖于回归函数和协变量的常见模型）能达到Pinsker常数作为渐近二次风险，从而确认了其最优性。

ABSTRACT

The paper deals with asymptotic properties of the adaptive procedure proposed in the author paper, 2007, for estimating a unknown nonparametric regression. We prove that this procedure is asymptotically efficient for a quadratic risk, i.e. the asymptotic quadratic risk for this procedure coincides with the Pinsker constant which gives a sharp lower bound for the quadratic risk over all possible estimators.

研究动机与目标

• 建立异方差非参数回归自适应估计程序的渐近效率。
• 证明该程序的渐近二次风险与Pinsker常数一致，后者是风险的紧下界。
• 将效率结果扩展至非高斯噪声和限制性较小的方差假设，使方法对未知噪声分布具有鲁棒性。
• 在如计量经济学和金融建模中常见的方差结构下，验证该程序的最优性。
• 通过修改风险准则，消除对真实噪声分布的依赖，从而在风险评估中去除分布依赖性。

提出的方法

• 作者采用一种基于模型选择的自适应程序，该程序此前已被证明满足二次风险的非渐近Oracle不等式。
• 引入一种修改后的风险准则，通过在未知噪声分布族上取上确界，以消除对分布的依赖。
• 该方法依赖于由模型索引参数化的估计器族，其选择基于由经验风险最小化导出的数据驱动权重。
• 理论分析通过正交基展开和浓度不等式对偏差和方差项进行有界化。
• 关键技术工具包括使用经验过程，以及推导经验矩与理论矩之比的统一界。
• 渐近效率的证明关键在于在设计和方差结构满足正则性条件时，证明风险收敛于Pinsker常数。

实验结果

研究问题

• RQ1 异方差非参数回归的自适应估计程序能否使其渐近二次风险达到Pinsker常数？
• RQ2 当误差方差依赖于回归函数且未知时，该程序是否仍保持效率？
• RQ3 该效率结果能否扩展至非高斯噪声分布，而无需事先知道误差分布律？
• RQ4 在风险评估中，该自适应程序对噪声分布的误设是否具有鲁棒性？
• RQ5 在何种方差结构条件下，该程序能达到最优收敛速率和最小风险？

主要发现

• 该自适应程序实现了Pinsker常数作为渐近二次风险，确认其具有渐近效率。
• 即使误差方差依赖于回归函数，包括在模型 σ²_j(S) = c₀ + c₁x_j + c₂S²(x_j) 中，该程序仍保持效率。
• 通过在分布族上取上确界，对风险准则进行修改，使其对未知噪声分布具有鲁棒性，从而消除了对真实误差律的依赖。
• 在计量经济学和金融校准中常用的实用模型所满足的条件下，渐近效率依然成立。
• 先前工作中获得的非渐近Oracle不等式被证明在极限下是渐近紧的，从而确认了该程序的最优性。
• 该方法无需假设误差为高斯分布，从而扩大了其在具有重尾或未知误差分布的实际数据中的适用性。