[论文解读] Large Sample Properties of Partitioning-Based Series Estimators

Matias D. Cattaneo, Max H. Farrell+1 more|arXiv (Cornell University)|Apr 13, 2018

Statistical Methods and Inference参考文献 58被引用 9

一句话总结

本文为基于划分的非参数回归系列估计量建立了大样本性质，提供了通用的偏差表征、用于调参选择的积分均方误差（IMSE）展开式，以及通过欠平滑和稳健偏差校正实现的统一推断方法。该研究在统一分布近似方面实现了更优的收敛速度和更少的速率限制，尤其在单变量情况下表现突出，并将结果应用于样条、小波和分段多项式。

ABSTRACT

We present large sample results for partitioning-based least squares nonparametric regression, a popular method for approximating conditional expectation functions in statistics, econometrics, and machine learning. First, we obtain a general characterization of their leading asymptotic bias. Second, we establish integrated mean squared error approximations for the point estimator and propose feasible tuning parameter selection. Third, we develop pointwise inference methods based on undersmoothing and robust bias correction. Fourth, employing different coupling approaches, we develop uniform distributional approximations for the undersmoothed and robust bias-corrected t-statistic processes and construct valid confidence bands. In the univariate case, our uniform distributional approximations require seemingly minimal rate restrictions and improve on approximation rates known in the literature. Finally, we apply our general results to three partitioning-based estimators: splines, wavelets, and piecewise polynomials. The supplemental appendix includes several other general and example-specific technical and methodological results. A companion R package is provided.

研究动机与目标

• 开发一个分析基于划分的非参数回归系列估计量大样本性质的通用框架。
• 表征这些估计量的主导渐近偏差，以用于调参选择和偏差校正。
• 推导积分均方误差（IMSE）展开式，以指导最优调参选择。
• 利用欠平滑和稳健偏差校正技术，建立点态和统一推断方法。
• 在尽可能少的速率限制下，为t统计量过程提供统一分布近似，尤其在单变量情况下。

提出的方法

• 通过将协变量空间划分为不相交的多面体单元，推导出基于划分的系列估计量的一般渐近偏差近似。
• 发展积分均方误差（IMSE）展开式，以指导划分粒度 $ h $ 的最优选择，表明 $ h_{ ext{IMSE}} riangleq n^{-1/(2m+d)} $，其中 $ m $ 为基函数阶次。
• 基于IMSE展开式提出可行的调参选择方法，确保最优收敛速度。
• 应用欠平滑和稳健偏差校正技术，构建有效的点态和统一置信带。
• 采用新颖的耦合方法，推导t统计量过程的统一分布近似，实现更优的收敛速度。
• 将通用框架应用于三种具体估计器：B样条、紧支撑小波和分段多项式，给出详尽的理论和模拟结果。

实验结果

研究问题

• RQ1 基于划分的系列估计量的主导渐近偏差的一般形式是什么？它如何用于偏差校正和调参选择？
• RQ2 这些估计量的积分均方误差（IMSE）展开式是什么？它如何引导最优调参选择？
• RQ3 如何利用欠平滑和稳健偏差校正技术，对非参数回归中的t统计量过程进行统一推断？
• RQ4 t统计量过程的统一分布近似是什么？其有效性的速率限制是什么？
• RQ5 通用结果如何应用于样条、小波和分段多项式等具体估计器？

主要发现

• IMSE最优的划分粒度为 $ h_{ ext{IMSE}} riangleq n^{-1/(2m+d)} $，且在展开式中精确刻画了主导常数。
• 通过欠平滑和稳健偏差校正的t统计量过程的统一分布近似，其收敛速度优于现有文献，尤其在单变量情况下表现更优。
• 当 $ d=1 $ 时，由于采用新颖的耦合方法，统一近似所需的速率限制看似最小，显著提升了适用性。
• 稳健偏差校正和欠平滑方法可生成在整个协变量空间 $ ar{f X} $ 上具有统一覆盖概率的置信带。
• 该理论框架被成功应用于B样条、紧支撑小波和分段多项式，为每类估计器提供了新的有限样本和渐近结果。
• 配套的R包 `lspartition` 已提供，用于实际实现所提出的方法。