[论文解读] Kernel regression in high dimensions: Refined analysis beyond double descent

Fanghui Liu, Zhenyu Liao+1 more|arXiv (Cornell University)|Oct 6, 2020

Gaussian Processes and Bayesian Inference参考文献 37被引用 14

一句话总结

本文通过将泛化风险分解为偏差和方差分量，对高维核岭回归进行了精细化分析，表明风险曲线的行为可能呈现双下降、钟形或单调递减，具体取决于数据的特征值分布和正则化程度。研究发现偏差几乎与维度无关，且随样本量增加而减小；而方差则关键取决于 $ n $、$ d $ 和正则化参数之间的相互作用，从而提供了一个超越双下降理论的分析框架。

ABSTRACT

In this paper, we provide a precise characterization of generalization properties of high dimensional kernel ridge regression across the under- and over-parameterized regimes, depending on whether the number of training data n exceeds the feature dimension d. By establishing a bias-variance decomposition of the expected excess risk, we show that, while the bias is (almost) independent of d and monotonically decreases with n, the variance depends on n, d and can be unimodal or monotonically decreasing under different regularization schemes. Our refined analysis goes beyond the double descent theory by showing that, depending on the data eigen-profile and the level of regularization, the kernel regression risk curve can be a double-descent-like, bell-shaped, or monotonic function of n. Experiments on synthetic and real data are conducted to support our theoretical findings.

研究动机与目标

• 理解高维核岭回归在欠参数化与过参数化区域中的泛化性质。
• 将期望过失风险分解为偏差与方差分量，分析其对 $ n $、$ d $ 和正则化参数的依赖关系。
• 通过刻画基于数据结构和正则化的多样化风险曲线形状（如双下降、钟形、单调），超越双下降范式。
• 通过核矩阵的线性化，为分析核方法中的隐式与显式正则化提供系统性框架。

提出的方法

• 推导了核岭回归中期望过失风险的偏差-方差分解。
• 利用高维下核矩阵的线性化，显式建模隐式正则化。
• 分析方差随 $ n $、$ d $ 和正则化参数 $ \lambda $ 的变化行为，表明其呈现单峰或单调趋势。
• 提出一个理论框架，用于刻画在数据协方差矩阵特征值衰减模式（如调和衰减、多项式衰减、指数衰减）下的风险曲线行为。
• 在合成数据和真实数据集（如MNIST、YearPredictionMSD）上实证验证了研究结果，比较了核特征值与其线性化近似值 $ \widetilde{\bm{X}} $ 的一致性。
• 推导了偏差与方差的收敛速率，表明在多项式衰减下呈现 $ \mathcal{O}(n^{-2\vartheta r}) $ 行为，而在指数衰减且 $ \lambda $ 较小时方差单调递减。

实验结果

研究问题

• RQ1 在高维设置下，核岭回归的泛化风险如何随样本量 $ n $ 变化？
• RQ2 风险曲线是否可能表现出双下降之外的形态（如钟形或单调）？这取决于数据特征值结构和正则化方式吗？
• RQ3 显式与隐式正则化在塑造核估计器的方差与偏差分量中分别起什么作用？
• RQ4 不同的特征值衰减模式（如多项式、指数）如何影响方差与整体风险行为？
• RQ5 在高维下，核矩阵的线性化在多大程度上能准确反映非线性核的特征值结构？

主要发现

• 核岭回归中的偏差几乎与特征维度 $ d $ 无关，且随 $ n $ 增加而单调递减。
• 方差表现出多样化行为：根据数据特征值衰减模式与正则化水平，可能呈现单峰（即钟形风险曲线）或单调递减。
• 当多项式衰减满足 $ \vartheta < 1/(1 + 1/(2a)) $ 时，方差呈现单峰特征，导致钟形风险曲线。
• 在指数衰减且正则化较小时，方差随 $ n $ 单调递减，形成单调风险曲线。
• 理论分析确认，在多项式衰减下 $ \text{bias} = \mathcal{O}(n^{-2\vartheta r}) $，当 $ r=1 $ 时与实证收敛速率一致。
• 在MNIST和合成数据上的实证结果表明，非线性核矩阵的特征值衰减与它们的线性化近似值 $ \widetilde{\bm{X}} $ 非常接近，验证了线性化框架的有效性。