[论文解读] Generalisation error in learning with random features and the hidden manifold model

Federica Gerace, Bruno Loureiro+3 more|arXiv (Cornell University)|Feb 21, 2020

Gaussian Processes and Bayesian Inference被引用 32

一句话总结

本文给出覆盖随机特征与隐藏流形模型的高维广义线性模型的闭式渐近一般化误差，揭示 logistic loss 的双下降，并比较正交与 Gaussian 投影。

ABSTRACT

We study generalised linear regression and classification for a synthetically generated dataset encompassing different problems of interest, such as learning with random features, neural networks in the lazy training regime, and the hidden manifold model. We consider the high-dimensional regime and using the replica method from statistical physics, we provide a closed-form expression for the asymptotic generalisation performance in these problems, valid in both the under- and over-parametrised regimes and for a broad choice of generalised linear model loss functions. In particular, we show how to obtain analytically the so-called double descent behaviour for logistic regression with a peak at the interpolation threshold, we illustrate the superiority of orthogonal against random Gaussian projections in learning with random features, and discuss the role played by correlations in the data generated by the hidden manifold model. Beyond the interest in these particular problems, the theoretical formalism introduced in this manuscript provides a path to further extensions to more complex tasks.

研究动机与目标

• 理解在包含随机特征和隐藏流形数据的高维场景中的一般化现象的动机。
• 使用复制方法推导出渐近一般化误差的闭式表达式。
• 分析双下降等现象以及特征矩阵结构对一般化的影响。
• 说明数据相关性在隐藏流形模型中的作用。
• 提供一个可拓展到所研究模型之外更复杂任务的框架。

提出的方法

• 将带有岭正则化损失和通用特征矩阵 F 的高维广义线性模型进行建模。
• 应用 replica 方法，在 n,p,d→∞ 极限下固定 α=n/p 和 γ=d/p，得到闭式一般化误差表达式（Eq. 2.1）。
• 使用 Gaussian 等价（GET）将问题映射到高斯协变量线性模型（Eq. 2.10）。
• 推导复制的鞍点方程（Eq. 2.4），得到重叠量（q_s、q_w、m_s）及相关量。
• 通过 Zeta/Y 函数（Eqs. 2.5–2.6）评估训练损失与测试损失，并与双下降等可观测现象建立联系。
• 给出数值仿真，在随机高斯和正交特征矩阵下验证解析表达式。

实验结果

研究问题

• RQ1 在包含随机特征与隐藏流形结构的高维广义线性模型中，渐近的一般化误差是多少？
• RQ2 特征矩阵的选择（高斯 vs 正交）如何影响学习性能和样本效率？
• RQ3 在该框架下逻辑回归是否会出现双下降/插值峰值，这些峰值发生在哪些条件下？
• RQ4 在数据维度与潜在维度的比值下，隐藏流形模型的相图是怎样的？
• RQ5 复制的高斯等价是否超出高斯协变量，扩展到更一般的特征结构？

主要发现

• 作者在高维极限下获得一般化误差 ε_g 的闭式表达式（Eq. 2.1）。
• 他们证明了逻辑回归在插值阈值处出现双下降行为，并能推广到他们的模型。
• 正交特征投影在使用随机特征学习时优于高斯随机投影。
• 他们推导了隐藏流形模型的相图，描述了一般化如何依赖于环境维度与潜在维度的比值。
• 复制的高斯等价将问题映射到高斯协变量线性模型（Eq. 2.10），并在即使规模较小的情况下也与仿真一致。
• 该框架能够容纳各种损失函数，在包括岭回归和 logistic 损失等多种设置下均表现出良好的一致性。