[论文解读] Jackknife multiplier bootstrap: finite sample approximations to the $U$-process supremum with applications

Xiaohong Chen, Kengo Kato|arXiv (Cornell University)|Aug 9, 2017

Statistical Methods and Inference参考文献 53被引用 5

一句话总结

本文提出了一种新颖的jackknife multiplier bootstrap（JMB）方法，用于在经典弱收敛不成立的设定下，对一般阶数的非退化U过程的上确界进行有限样本近似，尤其适用于高维和非正则统计问题。作者建立了JMB的非渐近耦合与Kolmogorov距离界，从而实现了在高维和非正则统计问题中的有效推断。

ABSTRACT

This paper is concerned with finite sample approximations to the supremum of a non-degenerate $U$-process of a general order indexed by a function class. We are primarily interested in situations where the function class as well as the underlying distribution change with the sample size, and the $U$-process itself is not weakly convergent as a process. Such situations arise in a variety of modern statistical problems. We first consider Gaussian approximations, namely, approximate the $U$-process supremum by the supremum of a Gaussian process, and derive coupling and Kolmogorov distance bounds. Such Gaussian approximations are, however, not often directly applicable in statistical problems since the covariance function of the approximating Gaussian process is unknown. This motivates us to study bootstrap-type approximations to the $U$-process supremum. We propose a novel jackknife multiplier bootstrap (JMB) tailored to the $U$-process, and derive coupling and Kolmogorov distance bounds for the proposed JMB method. All these results are non-asymptotic, and established under fairly general conditions on function classes and underlying distributions. Key technical tools in the proofs are new local maximal inequalities for $U$-processes, which may be useful in other problems. We also discuss applications of the general approximation results to testing for qualitative features of nonparametric functions based on generalized local $U$-processes.

研究动机与目标

• 解决当底层过程作为随机过程不满足弱收敛时，对非退化U过程上确界的有限样本近似挑战。
• 克服实际中高斯近似方法的局限性，即近似高斯过程的协方差函数通常未知。
• 开发一种专用于U过程的基于自助法的方法，在函数类和分布的一般条件下提供有效的非渐近推断。
• 为所提出的jackknife multiplier bootstrap（JMB）方法建立理论保证——包括耦合与Kolmogorov距离界。
• 实现对非参数回归函数的定性特征（如凹性、单调性）的检验，使用广义局部U过程。

提出的方法

• 提出一种专为一般阶数 r ≥ 2 的U过程设计的新型jackknife multiplier bootstrap（JMB）程序。
• 使用基于jackknife的方差估计器构造能反映U统计量依赖结构的乘子自助统计量。
• 推导U过程的新局部最大不等式，作为控制函数类熵与复杂度的关键技术工具。
• 建立真实U过程上确界与JMB统计量之间的非渐近耦合界，以Kolmogorov距离衡量。
• 将JMB应用于广义局部U过程，以检验非参数回归函数的定性特征，如凹性、凸性与单调性。
• 利用Strassen-Dudley定理将耦合界与弱收敛及分布近似联系起来。

实验结果

研究问题

• RQ1 我们能否开发一种自助法，当弱收敛不成立时，为非退化U过程上确界提供有效的有限样本近似？
• RQ2 如何构建一种自助程序，避免对近似高斯过程协方差函数的估计需求？
• RQ3 对于具有时变或高复杂度函数类的U过程，可为自助法建立哪些非渐近理论保证？
• RQ4 所提出的方法能否应用于高维或非正则设定下，检验非参数回归函数的定性特征（如凹性、单调性）？
• RQ5 在何种条件下，jackknife multiplier bootstrap 能够在广泛函数类与分布族中实现一致的近似精度？

主要发现

• 所提出的jackknife multiplier bootstrap（JMB）在U过程上确界上实现了非渐近耦合与Kolmogorov距离界，即使该过程不满足弱收敛。
• 该方法在无需已知极限高斯过程协方差函数的情况下，为U过程上确界提供了有效的有限样本推断。
• 推导出U过程的新局部最大不等式，作为理论分析的基础工具。
• JMB方法适用于广义局部U过程，从而可实现对非参数回归中凹性与单调性等定性特征的检验。
• 在函数类与底层分布的一般条件下建立了理论界，包括函数类依赖于样本大小的情形。
• 结果可推广至多尺度检验程序，第4.1节的带宽一致结果为多尺度推断提供了理论基础，类似于Dumbgen（2002）的基于秩的检验。