[论文解读] A Precise Performance Analysis of Learning with Random Features

Oussama Dhifallah, Yue M. Lu|arXiv (Cornell University)|Aug 27, 2020

Sparse and Compressive Sensing Techniques参考文献 27被引用 22

一句话总结

本文针对高斯数据下的随机特征学习，提供了精确的渐近分析，全面刻画了在欠参数化与过参数化两种情形下训练误差与泛化误差的精确表达。基于统一高斯等价性猜想，推导出适用于一般特征矩阵、激活函数与凸损失函数的误差性能闭式表达，揭示了正则化、损失函数与激活函数在缓解双重下降现象中的关键作用。

ABSTRACT

We study the problem of learning an unknown function using random feature models. Our main contribution is an exact asymptotic analysis of such learning problems with Gaussian data. Under mild regularity conditions for the feature matrix, we provide an exact characterization of the asymptotic training and generalization errors, valid in both the under-parameterized and over-parameterized regimes. The analysis presented in this paper holds for general families of feature matrices, activation functions, and convex loss functions. Numerical results validate our theoretical predictions, showing that our asymptotic findings are in excellent agreement with the actual performance of the considered learning problem, even in moderate dimensions. Moreover, they reveal an important role played by the regularization, the loss function and the activation function in the mitigation of the "double descent phenomenon" in learning.

研究动机与目标

• 提供高斯数据下随机特征模型中训练误差与泛化误差的精确渐近表征。
• 将性能分析从过参数化区域扩展至欠参数化设置。
• 研究正则化、损失函数与激活函数在塑造泛化性能方面的相互作用。
• 通过中等维数设置下的数值实验验证理论预测。
• 将统一高斯等价性猜想确立为随机特征学习渐近分析的严格理论基础。

提出的方法

• 推导原始随机特征优化问题的渐近等价高斯形式，以高斯代理矩阵替代原始特征矩阵。
• 应用统一高斯等价性猜想（uGEC），用包含 μ₀、μ₁ 与 μ⋆ 的高斯向量组合替代结构化特征矩阵。
• 运用高维概率与渐近分析工具，刻画当维度 n → ∞ 时优化问题的极限行为。
• 证明渐近代价函数在变量 q 与 β 上的严格凸性，确保解的唯一性与稳定性。
• 采用随机优化与集合偏差理论的收敛结果，证明最优解与代价的几乎必然收敛性。
• 通过数值模拟验证理论预测，结果在中等维度下表现出与理论高度一致的性能。

实验结果

研究问题

• RQ1 在高斯数据下的随机特征模型中，训练误差与泛化误差的渐近行为如何？
• RQ2 统一高斯等价性猜想在多大程度上能准确反映随机特征学习的性能？
• RQ3 正则化、激活函数与损失函数如何共同影响泛化误差中的双重下降现象？
• RQ4 能否为欠参数化与过参数化两种情形，分别推导出泛化误差与训练误差的精确渐近表达式？
• RQ5 特征矩阵结构在决定随机特征模型渐近性能方面起到何种作用？

主要发现

• 针对一般特征矩阵、激活函数与凸损失函数，精确推导出训练误差与泛化误差的闭式渐近表征。
• 所提出的高斯形式能准确预测性能，即使在中等维度下，数值结果与理论预测高度一致。
• 正则化在缓解双重下降现象中起关键作用，尤其在过参数化情形下表现显著。
• 激活函数的选择显著影响泛化误差，某些非线性激活函数可带来更优性能。
• 损失函数影响优化景观，并有助于缓解双重下降现象，其中凸损失函数可实现稳定收敛。
• 渐近分析证实，最优解以概率收敛至真实最小化器，且理论保证了收敛速率。