[论文解读] Spectrum of inner-product kernel matrices in the polynomial regime and multiple descent phenomenon in kernel ridge regression

Theodor Misiakiewicz|arXiv (Cornell University)|Apr 21, 2022

Random Matrices and Applications被引用 9

一句话总结

该论文在多项式高维情形（$n \asymp d^\ell$）下，对球面分布与超立方体分布数据的内积核矩阵进行了谱分解，表明Gegenbauer矩阵分量的谱分布收敛于Marchenko-Pastur分布。论文推导了核岭回归（KRR）测试误差的精确渐近表达式，揭示了在整数$\kappa$值处因有效正则化与信噪比而产生的双下降行为，解释了KRR风险曲线中的多重下降现象。

ABSTRACT

We study the spectrum of inner-product kernel matrices, i.e., $n imes n$ matrices with entries $h (\langle extbf{x}_i , extbf{x}_j angle/d)$ where the $( extbf{x}_i)_{i \leq n}$ are i.i.d.~random covariates in $\mathbb{R}^d$. In the linear high-dimensional regime $n \asymp d$, it was shown that these matrices are well approximated by their linearization, which simplifies into the sum of a rescaled Wishart matrix and identity matrix. In this paper, we generalize this decomposition to the polynomial high-dimensional regime $n \asymp d^\ell,\ell \in \mathbb{N}$, for data uniformly distributed on the sphere and hypercube. In this regime, the kernel matrix is well approximated by its degree-$\ell$ polynomial approximation and can be decomposed into a low-rank spike matrix, identity and a `Gegenbauer matrix' with entries $Q_\ell (\langle extbf{x}_i , extbf{x}_j angle)$, where $Q_\ell$ is the degree-$\ell$ Gegenbauer polynomial. We show that the spectrum of the Gegenbauer matrix converges in distribution to a Marchenko-Pastur law. This problem is motivated by the study of the prediction error of kernel ridge regression (KRR) in the polynomial regime $n \asymp d^κ, κ>0$. Previous work showed that for $κ ot\in \mathbb{N}$, KRR fits exactly a degree-$\lfloor κ floor$ polynomial approximation to the target function. In this paper, we use our characterization of the kernel matrix to complete this picture and compute the precise asymptotics of the test error in the limit $n/d^κ o ψ$ with $κ\in \mathbb{N}$. In this case, the test error can present a double descent behavior, depending on the effective regularization and signal-to-noise ratio at level $κ$. Because this double descent can occur each time $κ$ crosses an integer, this explains the multiple descent phenomenon in the KRR risk curve observed in several previous works.

研究动机与目标

• 在球面与超立方体数据的多项式高维情形（$n \asymp d^\ell$）下，刻画内积核矩阵的谱特性。
• 将线性核矩阵近似从$n \asymp d$推广至更高阶多项式情形。
• 在$n/d^\kappa \to \psi$且$\kappa \in \mathbb{N}$时，推导核岭回归（KRR）测试误差的精确渐近表达式。
• 通过整数$\kappa$值下有效正则化与信噪比的相互作用，解释KRR风险曲线中的多重下降现象。

提出的方法

• 将核矩阵的谱分解为低秩信号分量、单位矩阵与一个Gegenbauer矩阵，其元素为$Q_\ell(\langle \mathbf{x}_i, \mathbf{x}_j \rangle)$，其中$Q_\ell$为次数为$\ell$的Gegenbauer多项式。
• 证明在多项式高维情形下，Gegenbauer矩阵的极限谱分布收敛于Marchenko-Pastur分布。
• 利用球面上与超立方体上的正交多项式展开，结合球谐函数与超立方体Gegenbauer多项式实现谱分解。
• 应用高斯空间与超立方体上高阶多项式$L^q$范数的超收缩不等式，控制误差项。
• 通过高斯协变量模型的等价性简化分析，并推导渐近误差公式。
• 应用随机矩阵理论工具，分析核矩阵各分量的算子范数与特征值分布。

实验结果

研究问题

• RQ1 在球面与超立方体数据的多项式高维情形（$n \asymp d^\ell$）下，内积核矩阵的谱行为如何？
• RQ2 在核矩阵分解中，Gegenbauer矩阵分量的极限谱分布为何？
• RQ3 当$n/d^\kappa \to \psi$且$\kappa \in \mathbb{N}$时，核岭回归的测试误差如何渐近变化？
• RQ4 为何KRR风险曲线表现出多重下降行为？其与多项式情形及正则化的关系为何？
• RQ5 在整数$\kappa$值下，KRR中的双下降现象能否通过有效正则化与信噪比精确刻画？

主要发现

• 在多项式高维情形（$n \asymp d^\ell$）下，核矩阵可被其次数为$\ell$的多项式近似良好逼近，其分解为低秩信号分量、单位矩阵与一个元素为$Q_\ell(\langle \mathbf{x}_i, \mathbf{x}_j \rangle)$的Gegenbauer矩阵。
• 当$n,d \to \infty$且$n \asymp d^\ell$时，Gegenbauer矩阵的谱分布收敛于Marchenko-Pastur分布。
• 当$\kappa \in \mathbb{N}$时，核岭回归的测试误差表现出双下降行为，其行为取决于在$\kappa$阶下的有效正则化与信噪比。
• KRR风险曲线中的多重下降现象源于在每个整数$\kappa$处，多项式高维过渡阶段均可能发生双下降。
• 在$n/d^\kappa \to \psi$的极限下，推导出了KRR的精确渐近测试误差公式，完整刻画了多项式高维情形下的风险特性。
• 分析建立了球面/超立方体模型中KRR风险与对应高斯协变量模型之间的等价性，从而简化了误差渐近特性的推导。