[论文解读] Early stopping and non-parametric regression: An optimal data-dependent stopping rule

Garvesh Raskutti, Martin J. Wainwright+1 more|arXiv (Cornell University)|Jun 15, 2013

Numerical methods in inverse problems参考文献 36被引用 181

一句话总结

本文提出了一种针对再生核希尔伯特空间（RKHS）中非参数回归的梯度下降方法的数据依赖型早停规则，避免使用预留数据或交叉验证。通过基于累积步长的停止时间平衡偏差与方差，该方法在 $L^2(\mathbb{P})$ 和 $L^2(\mathbb{P}_n)$ 范数下均实现了极小极大最优估计速率，且对 Sobolev 及其他核类提供了理论保证。

ABSTRACT

The strategy of early stopping is a regularization technique based on choosing a stopping time for an iterative algorithm. Focusing on non-parametric regression in a reproducing kernel Hilbert space, we analyze the early stopping strategy for a form of gradient-descent applied to the least-squares loss function. We propose a data-dependent stopping rule that does not involve hold-out or cross-validation data, and we prove upper bounds on the squared error of the resulting function estimate, measured in either the $L^2(P)$ and $L^2(P_n)$ norm. These upper bounds lead to minimax-optimal rates for various kernel classes, including Sobolev smoothness classes and other forms of reproducing kernel Hilbert spaces. We show through simulation that our stopping rule compares favorably to two other stopping rules, one based on hold-out data and the other based on Stein's unbiased risk estimate. We also establish a tight connection between our early stopping strategy and the solution path of a kernel ridge regression estimator.

研究动机与目标

• 为解决非参数回归中缺乏一种实用且数据依赖的早停规则，以实现极小极大最优性的问题。
• 开发一种避免使用预留数据或交叉验证，同时保持最优统计性能的早停规则。
• 通过数据驱动的停止准则，对迭代核方法中的偏差-方差权衡提供理论验证。
• 建立早停与核岭回归解路径之间的紧密联系。

提出的方法

• 该方法在再生核希尔伯特空间（RKHS）中对最小二乘损失执行梯度下降，更新过程由步长参数化。
• 定义了一种数据依赖型停止规则，即累积步长之和首次超过一个平衡偏差与方差的阈值的时间点。
• 利用经验过程理论和高斯混沌的浓度不等式，推导出预测误差的理论界。
• 构造停止时间 $\widehat{T}$，使其能够控制均方误差中的偏差与方差分量。
• 利用核算子的特征分解分析不同核类的收敛速率。
• 理论分析通过 RKHS 中的函数关系，建立了早停路径与核岭回归解路径之间的联系。

实验结果

研究问题

• RQ1 能否设计一种数据依赖型停止规则，在非参数回归中实现极小极大最优速率，且无需使用预留数据或交叉验证？
• RQ2 如何仅利用观测数据，定量平衡迭代核方法中的偏差-方差权衡？
• RQ3 在 RKHS 中，梯度下降的早停与核岭回归之间存在何种理论关系？
• RQ4 对于哪些核类（如 Sobolev、低秩核）该提出的停止规则能实现极小极大最优性？
• RQ5 在有限样本下，该规则的性能与基于预留数据和 SURE 的停止规则相比如何？

主要发现

• 所提出的停止规则在 Sobolev 及其他核类中，于 $L^2(\mathbb{P})$ 和 $L^2(\mathbb{P}_n)$ 范数下均实现了极小极大最优估计速率。
• 推导出所有停止前迭代的平方误差上界，并给出停止后误差的下界，确保了最优的偏差-方差权衡。
• 对于 Sobolev 空间和低秩核，该方法在常数因子范围内实现了极小极大最优性，表明界本质上不可改进。
• 该停止规则无需预留数据或交叉验证，与现有方法相比具有计算高效性。
• 模拟结果表明，与基于预留数据和 SURE 的停止规则相比，该方法性能更优，且在样本量增大时优势更加明显。
• 建立了早停路径与核岭回归解路径之间的紧密数学联系，证明在极限情况下二者等价。