[论文解读] Early Stopping for Nonparametric Testing

Meimei Liu, Guang Cheng|arXiv (Cornell University)|May 25, 2018

Statistical Methods and Inference参考文献 14被引用 3

一句话总结

本文在再生核希尔伯特空间中使用函数梯度下降，为非参数检验建立了精确的早停规则，表明当且仅当迭代次数达到最优阶时，才能实现检验最优性。该文提出一种基于迭代估计量的沃尔德型检验统计量，并在多项式与指数核类下证明了其极小极大最优性。

ABSTRACT

Early stopping of iterative algorithms is an algorithmic regularization method to avoid over-fitting in estimation and classification. In this paper, we show that early stopping can also be applied to obtain the minimax optimal testing in a general non-parametric setup. Specifically, a Wald-type test statistic is obtained based on an iterated estimate produced by functional gradient descent algorithms in a reproducing kernel Hilbert space. A notable contribution is to establish a "sharp" stopping rule: when the number of iterations achieves an optimal order, testing optimality is achievable; otherwise, testing optimality becomes impossible. As a by-product, a similar sharpness result is also derived for minimax optimal estimation under early stopping studied in [11] and [19]. All obtained results hold for various kernel classes, including Sobolev smoothness classes and Gaussian kernel classes.

研究动机与目标

• 开发一种理论上合理的非参数检验早停规则，避免过拟合并保持极小极大最优性。
• 解决非参数模型中缺乏对最优检验的理论合理调参程序的问题，特别是在交叉验证表现不佳的情况下。
• 刻画检验性能中偏差与方差之间的权衡，该权衡与经典估计中的偏差-方差权衡不同。
• 建立一个‘精确’的停止规则，即只有当迭代次数达到最优阶时，才能实现检验最优性。
• 将精确性结果扩展至极小极大最优估计，表明[11]和[19]中现有的早停规则对估计同样最优。

提出的方法

• 在再生核希尔伯特空间（RKHS）中使用函数梯度下降，迭代估计回归函数。
• 基于第 $ t $ 次迭代 $ f_t $ 构造沃尔德型检验统计量 $ D_{n,t} $，实现对非参数信号的假设检验。
• 将最弱可检测信号强度（SWDS）表示为迭代次数 $ t $ 的函数，平衡偏差减少与方差增加。
• 提出一种基于最小化SWDS的数据依赖型早停规则，确保最优检验性能。
• 利用特征值衰减速率（多项式与指数）刻画不同核类下的最优迭代次数。
• 使用自举法近似偏差，并应用收缩矩阵与特征值扰动的理论界，推导渐近结果。

实验结果

研究问题

• RQ1 是否可以不使用惩罚项，仅通过早停实现非参数模型中的极小极大最优检验？
• RQ2 最优迭代次数 $ t $ 是多少，才能在避免过拟合的同时最大化检验功效？
• RQ3 检验中的偏差-方差权衡与估计中的偏差-方差权衡有何不同？
• RQ4 检验的早停规则是否‘精确’——即最优性是否仅在特定最优迭代阶时成立？
• RQ5 相同的停止规则是否也能实现极小极大最优估计？其对估计是否同样精确？

主要发现

• 建立了精确的早停规则：当且仅当迭代次数达到由核函数特征值衰减决定的最优阶时，才能实现检验最优性。
• 所提出的沃尔德型检验统计量 $ D_{n,t} $ 在迭代过程中呈现抛物线形功效模式，峰值出现在最优 $ t $，证实了检验中偏差与方差之间存在权衡。
• 对于具有多项式特征值衰减 $ u_i \asymp i^{-2m} $ 的Sobolev光滑类，最优迭代次数为 $ t^* \asymp n^{1/(2m)} $，确保极小极大最优性。
• 对于具有指数特征值衰减 $ u_i \asymp \exp(-\beta i^p) $ 的高斯核类，最优迭代次数为 $ t^* \asymp \log n $，同样实现极小极大检验最优性。
• 证明了该停止规则在检验与估计中均具有精确性：若 $ t \ll t^* $ 或 $ t \gg t^* $，则无法实现最优性，且不存在中间区域能提供更优性能。
• 证明了[11]和[19]中用于估计的早停规则同样对极小极大最优估计具有精确性，将原有结果扩展至更广泛的理论框架。