[论文解读] Learning curves for deep structured Gaussian feature models

Jacob A. Zavatone-Veth, Cengiz Pehlevan|arXiv (Cornell University)|Mar 1, 2023

Gaussian Processes and Bayesian Inference被引用 4

一句话总结

本文使用统计物理中的副本方法，推导了具有结构化高斯权重的深度线性随机特征模型的学习曲线。结果表明，第一层的权重各向异性可改善泛化性能，而深层的结构通常有害，且在幂律权重谱下，标度律保持不变。该结果可推广至贝叶斯估计器，其中先验方差可实现有益的结构。

ABSTRACT

In recent years, significant attention in deep learning theory has been devoted to analyzing when models that interpolate their training data can still generalize well to unseen examples. Many insights have been gained from studying models with multiple layers of Gaussian random features, for which one can compute precise generalization asymptotics. However, few works have considered the effect of weight anisotropy; most assume that the random features are generated using independent and identically distributed Gaussian weights, and allow only for structure in the input data. Here, we use the replica trick from statistical physics to derive learning curves for models with many layers of structured Gaussian features. We show that allowing correlations between the rows of the first layer of features can aid generalization, while structure in later layers is generally detrimental. Our results shed light on how weight structure affects generalization in a simple class of solvable models.

研究动机与目标

• 理解权重各向异性（特别是第一层权重矩阵行之间的相关性）如何影响深度随机特征模型中的泛化性能。
• 将现有假设权重独立同分布的高斯等价定理扩展至具有结构化权重分布的模型。
• 研究深层相关性在无正则化和贝叶斯估计器中是否降低或增强泛化性能。
• 利用副本技巧，推导具有任意权重协方差结构的深度线性RFM的渐近泛化误差表达式。
• 研究在权重和数据中均存在幂律谱时，泛化标度律的鲁棒性，该问题与现实世界深度学习密切相关。

提出的方法

• 使用统计力学中的副本方法，计算具有结构化高斯权重的深度线性随机特征模型中的渐近泛化误差。
• 通过分析特征核的谱特性，结合权重协方差统计，在无正则化极限下推导泛化误差展开式。
• 应用高斯等价原理，将非线性RFM与带有效噪声的线性模型关联，以实现解析可处理性。
• 通过在反宽度（αℓ）上进行微扰展开，将泛化误差表示为1/αℓ的级数，以捕捉权重各向异性的效应。
• 通过引入热方差项和先验超参数，将结果扩展至贝叶斯吉布斯估计器。
• 利用矩阵高斯系综的谱统计，计算权重矩阵奇异值的期望，如 E[σ̃ℓ] 和 E[σ̃ℓ²]。

实验结果

研究问题

• RQ1 在深度线性随机特征模型中，引入第一层权重矩阵的相关性是否能改善泛化性能？
• RQ2 在无正则化极限下，隐藏层（L ≥ 2）中的权重结构如何影响泛化性能？
• RQ3 当权重和数据谱的幂律指数发生变化时，泛化标度律是否仍保持鲁棒？
• RQ4 在贝叶斯估计下，权重各向异性是否可能有益？若有益，其条件是什么？
• RQ5 通过副本方法推导出的渐近泛化误差表达式，在超越独立同分布高斯的结构化权重分布下，其适用范围有多大？

主要发现

• 第一层的权重各向异性（特别是第一层权重矩阵行之间的相关性）可通过降低有效核范数来改善泛化性能。
• 在无正则化极限下，深层（L ≥ 2）的结构通常对泛化有害，因其会增加有效核范数和泛化误差。
• 在权重和数据中均存在幂律谱时，泛化误差随数据集大小和网络宽度的渐近标度关系保持不变，表明对谱结构具有鲁棒性。
• 对于贝叶斯吉布斯估计器，若先验方差足够大，则权重各向异性可产生有益影响，表明先验在实现表征学习中具有潜在作用。
• 在反宽度（1/αℓ）中的泛化误差展开表明，第一层各向异性贡献一个1/α₁项，可改变主导项误差；而深层则贡献类似项，但具有负面影响。
• 在无正则化和贝叶斯设置下推导出的泛化误差表达式在渐近极限下是精确的，且显式依赖于权重矩阵的谱矩。