[论文解读] Kernel Truncated Randomized Ridge Regression: Optimal Rates and Low Noise Acceleration

Kwang-Sung Jun, Ashok Cutkosky+1 more|arXiv (Cornell University)|Jan 1, 2019

Statistical Methods and Inference被引用 7

一句话总结

本文提出了一种名为核截断随机岭回归的新算法，用于再生核希尔伯特空间（RKHS）中的非参数最小二乘回归。该算法实现了最优的一般化误差界，并在贝叶斯风险较低时展现出更快的有限时间与渐近收敛速率，从而填补了理论上下界之间长期存在的差距。

ABSTRACT

In this paper we consider the nonparametric least square regression in a Reproducing Kernel Hilbert Space (RKHS). We propose a new randomized algorithm that has optimal generalization error bounds with respect to the square loss, closing a long-standing gap between upper and lower bounds. Moreover, we show that our algorithm has faster finite-time and asymptotic rates on problems where the Bayes risk with respect to the square loss is small. We state our results using standard tools from the theory of least square regression in RKHSs, namely, the decay of the eigenvalues of the associated integral operator and the complexity of the optimal predictor measured through the integral operator.

研究动机与目标

• 为再生核希尔伯特空间（RKHS）上的非参数岭回归中现有的一般化误差上界与下界之间的差距提供填补。
• 开发一种随机算法，使其在有限样本与渐近两种情形下均能达到最优收敛速率。
• 分析低贝叶斯风险对核岭回归方法收敛速度的影响。
• 通过核积分算子的特征值衰减速率与复杂度来刻画该算法的性能。

提出的方法

• 提出一种基于截断核特征分解的随机算法，以降低计算成本，同时保持统计最优性。
• 应用随机压缩技术高效近似核矩阵，从而实现在高维RKHS中的可扩展计算。
• 结合截断与岭正则化，以控制方差并提升有限样本下的泛化能力。
• 利用RKHS理论工具进行算法分析，特别是关注积分算子特征值的衰减速率。
• 推导出依赖于特征值衰减速率与RKHS中目标函数光滑性的泛化误差界。
• 证明在标准特征值衰减速率与函数复杂度假设下，该算法可达到极小极大最优收敛速率。

实验结果

研究问题

• RQ1 能否设计一种随机算法，在RKHS回归中实现极小极大最优的一般化误差界，并具备可证明的有限样本保证？
• RQ2 贝叶斯风险如何影响核岭回归算法的收敛速率？
• RQ3 在低噪声环境下，与标准核岭回归相比，截断与随机化结合是否能带来更快的收敛速度？
• RQ4 特征值衰减速率与函数复杂度在决定所提方法最优收敛速率中起什么作用？
• RQ5 能否通过一种实用的随机算法，填补非参数岭回归中一般化误差上下界之间的差距？

主要发现

• 在标准特征值衰减速率与函数复杂度假设下，所提算法实现了极小极大最优的一般化误差界。
• 当贝叶斯风险较小时，该算法在有限时间与渐近情形下均表现出更快的收敛速率，表明存在低噪声加速效应。
• 理论分析证实，该方法成功填补了非参数岭回归中长期存在的上下界差距。
• 收敛速率取决于积分算子特征值的衰减速率与最优预测函数的光滑性。
• 随机压缩与截断的结合实现了计算效率与统计最优性的双重保障。
• 该方法的性能可通过RKHS中目标函数复杂度与特征值衰减速率的相互作用得到精确刻画。