[论文解读] Adaptive Estimation of Nonparametric Functionals

Lin Liu, Rajarshi Mukherjee+2 more|arXiv (Cornell University)|Aug 3, 2016

Statistical Methods and Inference参考文献 45被引用 7

一句话总结

本文为使用二阶U统计量的非参数泛函自适应估计构建了一般理论，实现了在参数、非参数和半参数框架下的自动适应。该文在复杂模型中建立了泛函的速率最优匹配的自适应上下界，关键结果表明在$\sqrt{n}$-尺度下实现半参数效率，在非$\sqrt{n}$-尺度下在光滑性和设计密度正则性条件下实现最优适应。

ABSTRACT

We provide general adaptive upper bounds for estimating nonparametric functionals based on second order U-statistics arising from finite dimensional approximation of the infinite dimensional models. We then provide examples of functionals for which the theory produces rate optimally matching adaptive upper and lower bounds. Our results are automatically adaptive in both parametric and nonparametric regimes of estimation and are automatically adaptive and semiparametric efficient in the regime of parametric convergence rate.

研究动机与目标

• 开发复杂模型中非参数泛函自适应估计的一般理论，其中标准方法依赖于已知的光滑性指数。
• 将自适应极小极大估计从线性和二次泛函扩展到更广泛的非线性泛函类，其一阶影响函数依赖于多个异质函数。
• 在不同光滑性类下，为这类泛函建立速率最优匹配的自适应上下界。
• 确保在$\sqrt{n}$-尺度（此时估计量具有半参数效率）和非$\sqrt{n}$-尺度下均实现自动适应。
• 解决在不依赖光滑性先验知识的前提下构造保持最优收敛速率的估计量的挑战。

提出的方法

• 该方法依赖于使用小波基对无限维模型进行有限维逼近，以表示Besov-Hölder空间中的函数。
• 采用二阶U统计量来估计非参数泛函，从而在非$\sqrt{n}$-尺度下实现偏差校正与方差控制。
• 通过Lepski方法自适应选择调优参数，避免对未知光滑性指数的依赖。
• 估计量通过投影到小波基上构建，结合多元回归与密度估计以处理异质函数。
• 理论分析利用小波展开与矩不等式控制偏差与方差，确保达到最优速率。
• 该方法假设协变量边际密度具有足够光滑性，以支持U统计量中的二阶偏差校正。

实验结果

研究问题

• RQ1 在复杂非参数模型中，能否在不预先知道光滑性的情况下实现非线性积分泛函的自适应估计？
• RQ2 在$\sqrt{n}$-和非$\sqrt{n}$-尺度下，非参数泛函自适应估计的最优收敛速率是什么？
• RQ3 如何利用二阶U统计量构造在同时具备自适应性与半参数效率的估计量？
• RQ4 在多元模型中，实现自适应极小极大估计所需的关于设计密度的正则性条件是什么？
• RQ5 该理论能否扩展至影响函数依赖于多个异质函数（而不仅限于简单密度）的泛函？

主要发现

• 本文建立了与已知下界匹配的非参数泛函自适应上界，证明了在不同光滑性类下均达到速率最优。
• 在$\sqrt{n}$-尺度下，所提出的估计量自动实现半参数效率，无需依赖光滑性知识。
• 在非$\sqrt{n}$-尺度下，方法对Hölder光滑泛函实现了最优收敛速率$n^{-4\beta/(4\beta + d)}$（当$\beta \leq d/4$时），与极小极大下界一致。
• 该理论适用于涉及多元回归与密度的泛函，其性能依赖于协变量边际密度的光滑性。
• 该方法对有界响应具有鲁棒性，并可通过指数尾部界扩展至轻尾误差分布。
• 即使边际密度不光滑，只要可实现$\sqrt{n}$-一致估计，该方法依然有效，但此类情形需单独构造。