[论文解读] Analyzing the discrepancy principle for kernelized spectral filter learning algorithms

Alain Célisse, Martin Wahl|arXiv (Cornell University)|Apr 17, 2020

Sparse and Compressive Sensing Techniques参考文献 52被引用 6

一句话总结

本文利用偏差原则及其平滑变体，分析了核化谱滤波学习算法的早期停止规则。在固定设计和随机设计设置下，建立了有限样本的Oracle不等式，证明经典偏差原则在慢速率情形下具有统计自适应性，而平滑版本则能适应更快速率和更高的光滑参数。

ABSTRACT

We investigate the construction of early stopping rules in the nonparametric regression problem where iterative learning algorithms are used and the optimal iteration number is unknown. More precisely, we study the discrepancy principle, as well as modifications based on smoothed residuals, for kernelized spectral filter learning algorithms including gradient descent. Our main theoretical bounds are oracle inequalities established for the empirical estimation error (fixed design), and for the prediction error (random design). From these finite-sample bounds it follows that the classical discrepancy principle is statistically adaptive for slow rates occurring in the hard learning scenario, while the smoothed discrepancy principles are adaptive over ranges of faster rates (resp. higher smoothness parameters). Our approach relies on deviation inequalities for the stopping rules in the fixed design setting, combined with change-of-norm arguments to deal with the random design setting.

研究动机与目标

• 为非参数回归中的迭代核化谱滤波算法开发数据驱动的早期停止规则。
• 在有限样本下分析经典偏差原则及其平滑变体的统计性能。
• 在固定设计和随机设计设置下，为估计误差和预测误差建立理论保证——特别是Oracle不等式。
• 研究停止规则在困难学习场景下对未知光滑参数和收敛速率的自适应性。
• 通过避免Lepskii型方法中常见的成对模型比较，将理论分析与实际计算效率相结合。

提出的方法

• 使用偏差原则作为停止规则，其定义为：经验残差范数等于与噪声水平成比例的阈值。
• 引入偏差原则的平滑残差变体，以在有限样本中提高鲁棒性和自适应性。
• 在固定设计设置下应用偏差不等式，以控制过拟合的概率。
• 采用范数变换方法，将结果从固定设计推广到随机设计设置，从而获得预测误差界。
• 依赖算子范数不等式和特征值衰减假设（如多项式或指数衰减），以控制有效维数和正则化效应。
• 通过结合经验算子的集中不等式与再生核Hilbert空间（RKHS）中的谱正则化理论，推导出有限样本的Oracle不等式。

实验结果

研究问题

• RQ1 经典偏差原则能否在理论上被证明为核化谱滤波学习中数据驱动的早期停止规则？
• RQ2 与经典版本相比，偏差原则的平滑版本在统计性能和自适应性方面有何改进？
• RQ3 在何种条件下，偏差原则能在非参数回归中实现最优或近似最优的收敛速率？
• RQ4 停止规则在多大程度上能自适应未知的光滑参数或收敛速率？
• RQ5 如何将估计和预测误差的理论保证，从固定设计设置推广到随机设计设置？

主要发现

• 经典偏差原则在困难学习场景下对慢速率具有统计自适应性，这通过有限样本的Oracle不等式得到证明。
• 平滑偏差原则被证明可在更快速率范围内实现自适应，对应于回归函数更高的光滑参数。
• 在一般谱滤波算法（包括梯度下降）下，于固定设计设置中建立了经验估计误差的Oracle不等式。
• 通过范数变换方法，从固定设计结果推广到更现实的采样场景，推导出随机设计设置下的预测误差界。
• 在多项式或指数特征值衰减下，RKHS的有效维数得到控制，从而实现了对正则化效应的紧密界。
• 理论分析证实，所提出的停止规则避免了Lepskii方法等模型选择方法带来的计算负担，同时保持了强大的统计性能。