[论文解读] A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent

Zhenyu Liao, Romain Couillet+1 more|arXiv (Cornell University)|Jun 8, 2020

Random Matrices and Applications参考文献 61被引用 39

一句话总结

本文在样本量 $n$、输入维度 $p$ 和特征维度 $N$ 同时趋于大且数量级相近的高维情形下，对随机傅里叶特征（RFF）回归进行了精确的随机矩阵理论分析。推导了训练误差和测试误差的精确渐近表达式，揭示了在 $N/n \approx 1/2$ 处存在从欠参数化到过参数化状态的尖锐相变，并在不依赖强分布假设的前提下解释了 RFF 岭回归中的双下降现象。实验结果在 MNIST 和 Fashion-MNIST 等真实数据集上得到验证。

ABSTRACT

This article characterizes the exact asymptotics of random Fourier feature (RFF) regression, in the realistic setting where the number of data samples $n$, their dimension $p$, and the dimension of feature space $N$ are all large and comparable. In this regime, the random RFF Gram matrix no longer converges to the well-known limiting Gaussian kernel matrix (as it does when $N o \infty$ alone), but it still has a tractable behavior that is captured by our analysis. This analysis also provides accurate estimates of training and test regression errors for large $n,p,N$. Based on these estimates, a precise characterization of two qualitatively different phases of learning, including the phase transition between them, is provided; and the corresponding double descent test error curve is derived from this phase transition behavior. These results do not depend on strong assumptions on the data distribution, and they perfectly match empirical results on real-world data sets.

研究动机与目标

• 分析在 $n$、$p$ 和 $N$ 均较大且数量级相近的现实高维情形下的 RFF 回归，超越经典的 $N \to \infty$ 极限。
• 刻画当 $N$ 相对于 $n$ 和 $p$ 并非渐近大时，RFF 格拉姆矩阵的渐近行为，此时高斯核近似失效。
• 在一般数据分布下，推导 RFF 岭回归中训练误差与测试误差的精确渐近表达式。
• 识别并解释欠参数化与过参数化学习状态之间的相变，及其与双下降现象的关联。

提出的方法

• 利用随机矩阵理论，推导在双渐近情形 $n, p, N \to \infty$ 且 $n/N \to c$ 下，RFF 格拉姆矩阵 $\Sigma_X^T \Sigma_X / N$ 的渐近确定等价物（A.D.E.）。
• 应用马尔琴科-帕斯图尔型方程刻画格拉姆矩阵的预解式，从而实现对岭回归性能的精确渐近分析。
• 基于 A.D.E. 和预解式迹，推导出渐近训练误差与测试误差的闭式表达式，适用于余弦和正弦等一般利普希茨非线性函数。
• 引入校正项，以处理当 $N$ 相对于 $n$ 不够大时，RFF 格拉姆矩阵与极限高斯核之间谱范数不一致的问题。
• 通过引入噪声的训练-测试数据矩阵 $\hat{X} = X + \sigma \varepsilon$ 来建模训练与测试数据的相似性，研究分布偏移下的泛化性能。
• 通过在 MNIST、Fashion-MNIST 和 Kannada-MNIST 数据集上进行广泛实验，验证理论预测，涵盖不同 $N$、$n$ 和 $\lambda$ 的设置。

实验结果

研究问题

• RQ1 当 $n$、$p$ 和 $N$ 同时以相近速率增长时，而非在 $N \to \infty$ 极限下，RFF 格拉姆矩阵的渐近行为如何？
• RQ2 RFF 岭回归中欠参数化与过参数化状态之间的精确相变点是什么？它与双下降曲线有何关联？
• RQ3 基于随机矩阵理论推导出的渐近误差估计与真实世界数据的实证结果相比，其准确性如何？
• RQ4 通过噪声建模的训练-测试分布不匹配对 RFF 回归中的泛化误差有何影响？

主要发现

• 当 $n$、$p$ 和 $N$ 均较大且数量级相近时，RFF 格拉姆矩阵 $\Sigma_X^T \Sigma_X / N$ 在谱范数下不会收敛到高斯核矩阵，这使得经典渐近近似失效。
• 在 $N/n \approx 1/2$ 处发生精确的相变，测试误差在此处出现尖锐峰值，标志着欠参数化与过参数化状态的边界。
• RFF 岭回归中的双下降曲线自然源于该相变：测试误差先减小，在 $2N = n$ 处达到峰值，随后随着 $N$ 超过 $n/2$ 而单调下降。
• 基于 A.D.E. 和预解式迹推导出的理论渐近训练与测试误差估计，与 MNIST、Fashion-MNIST 和 Kannada-MNIST 上的实证结果高度吻合，即使在中等规模的 $n$、$p$、$N$ 下也表现良好。
• 当通过噪声 $\varepsilon$ 建模训练-测试相似性时，测试误差在噪声方差 $\sigma^2$ 超过正则化参数 $\lambda$ 时与训练误差显著分离，证实了理论预测的在 $\sigma^2 \approx \lambda$ 处存在尖锐相变。
• 即使数据分布非高斯，渐近分析仍保持高精度，这在多类别和多特征维度的真实图像数据集上得到了强一致性验证。