[论文解读] Generalization Error Rates in Kernel Regression: The Crossover from the Noiseless to Noisy Regime

Hugo Cui, Bruno Loureiro+2 more|arXiv (Cornell University)|May 31, 2021

Sparse and Compressive Sensing Techniques参考文献 59被引用 13

一句话总结

本文在高斯设计下统一分析了核岭回归在无噪声与有噪声情形下的泛化误差，揭示了随着样本复杂度增加，过量误差衰减率的连续过渡。通过展示无噪声指数通过正则化与样本量的相互作用逐渐过渡到经典有噪声情形，解决了先前研究之间的矛盾，并在真实数据集上得到验证。

ABSTRACT

In this manuscript we consider Kernel Ridge Regression (KRR) under the Gaussian design. Exponents for the decay of the excess generalization error of KRR have been reported in various works under the assumption of power-law decay of eigenvalues of the features co-variance. These decays were, however, provided for sizeably different setups, namely in the noiseless case with constant regularization and in the noisy optimally regularized case. Intermediary settings have been left substantially uncharted. In this work, we unify and extend this line of work, providing characterization of all regimes and excess error decay rates that can be observed in terms of the interplay of noise and regularization. In particular, we show the existence of a transition in the noisy setting between the noiseless exponents to its noisy values as the sample complexity is increased. Finally, we illustrate how this crossover can also be observed on real data sets.

研究动机与目标

• 解决关于核岭回归泛化误差衰减率的冲突报告，特别是无噪声与有噪声情形之间的差异。
• 以噪声水平、正则化参数和样本复杂度为参数，刻画过量误差衰减率的完整谱系。
• 统一经典最坏情况分析与典型情况高斯设计结果，表明不同情形下的一致性。
• 证明随着样本量增加，从无噪声到有噪声误差指数之间存在连续过渡（交叉）。
• 通过真实世界数据集上的实验验证理论交叉现象。

提出的方法

• 在协方差矩阵特征值呈幂律衰减的高斯设计下分析核岭回归。
• 通过平衡噪声、正则化与样本复杂度，推导渐近过量泛化误差率。
• 利用随机矩阵理论与高维渐近分析，刻画所有情形下的误差衰减特性。
• 提出统一框架，通过连续交叉将无噪声（零噪声）与有噪声（非零噪声）误差指数联系起来。
• 采用理论边界与数值验证，确认合成数据与真实数据中过渡行为的存在。
• 将理论预测与统计学习与统计物理文献中的既有结果进行比较，以解决矛盾。

实验结果

研究问题

• RQ1 核岭回归中的泛化误差衰减率在无噪声与有噪声情形之间如何变化？
• RQ2 正则化与样本复杂度在调节无噪声与有噪声误差指数之间过渡中起什么作用？
• RQ3 为何先前研究报告了冲突的误差衰减率？这是否能在统一框架下得到调和？
• RQ4 典型情况高斯设计分析是否与最坏情况数据无关的统计学习理论一致？
• RQ5 是否能在真实数据集上实证观察到从无噪声到有噪声误差行为的过渡？

主要发现

• 随着样本复杂度增加，即使存在微小噪声，也观察到从无噪声到有噪声泛化误差衰减率的连续过渡。
• 无噪声指数（先前在[12,13]中报告）随样本量增长，通过正则化与特征值衰减的共同作用，逐渐过渡到经典有噪声指数。
• 理论分析表明，典型情况高斯设计结果与最坏情况统计学习边界一致，解决了先前看似矛盾的问题。
• 该过渡由正则化参数与特征值衰减率之间的竞争主导，通过指数分析识别出不同区域。
• 真实数据集上的数值实验确认了噪声到无噪声过渡的存在，验证了理论预测。
• 蓝色（无噪声）与橙色（有噪声）误差指数作为极限情况出现，中间区域表现出平滑过渡。