[论文解读] Fundamental limits of overparametrized shallow neural networks for supervised learning

Francesco Camilli, Daria Tieplova+1 more|arXiv (Cornell University)|Jul 11, 2023

Neural Networks and ApplicationsComputer Science被引用 3

一句话总结

本文在过参数化的两层神经网络、其训练数据由具有相同架构的教师网络生成的设定下，建立了严格的、信息论意义上的泛化性能边界。借助自旋玻璃理论与高斯等价性原理的工具，证明了在训练样本足够多的高维情形下，神经网络的表现等价于广义线性模型，达到相同的贝叶斯最优泛化误差与互信息边界。

ABSTRACT

We carry out an information-theoretical analysis of a two-layer neural network trained from input-output pairs generated by a teacher network with matching architecture, in overparametrized regimes. Our results come in the form of bounds relating i) the mutual information between training data and network weights, or ii) the Bayes-optimal generalization error, to the same quantities but for a simpler (generalized) linear model for which explicit expressions are rigorously known. Our bounds, which are expressed in terms of the number of training samples, input dimension and number of hidden units, thus yield fundamental performance limits for any neural network (and actually any learning procedure) trained from limited data generated according to our two-layer teacher neural network model. The proof relies on rigorous tools from spin glasses and is guided by ``Gaussian equivalence principles'' lying at the core of numerous recent analyses of neural networks. With respect to the existing literature, which is either non-rigorous or restricted to the case of the learning of the readout weights only, our results are information-theoretic (i.e. are not specific to any learning algorithm) and, importantly, cover a setting where all the network parameters are trained.

研究动机与目标

• 理解过参数化浅层神经网络在监督学习中的根本性能极限。
• 分析架构与数据可用性如何在教师-学生框架下约束泛化误差与互信息。
• 严格确立在所有网络权重均被训练的信息论设定中，高斯等价性原理（GEPs）的有效性。
• 推导出与具体学习算法无关的互信息与泛化误差边界。
• 弥合过参数化神经网络领域中非严格启发式分析与严格数学物理方法之间的差距。

提出的方法

• 采用贝叶斯最优的教师-学生设置，输入为独立同分布的随机输入，输出由两层教师网络生成。
• 应用自旋玻璃理论的严格工具，分析神经网络在高维极限下的泛化性能。
• 利用高斯等价性原理（GEPs），表明在特定缩放下，过参数化网络中的非线性激活函数表现出类似线性模型的行为。
• 通过将神经网络与更简单的广义线性模型进行比较，推导出训练数据与网络权重之间互信息的显式边界。
• 采用高斯积分分部法与正交化技术，控制渐近展开中的高阶修正项。
• 在训练样本数量与输入维度及隐藏单元数适当缩放的条件下，建立神经网络与广义线性模型在最优泛化误差与互信息方面的等价性。

实验结果

研究问题

• RQ1 过参数化两层神经网络在监督学习中的根本信息论极限是什么？
• RQ2 在何种缩放条件下，非线性神经网络在泛化性能方面可表现为广义线性模型？
• RQ3 在过参数化设定下，训练数据与网络权重之间的互信息如何与更简单线性模型的互信息相关联？
• RQ4 在所有网络权重均被训练的设定中，高斯等价性原理能否被严格证明？
• RQ5 在此过参数化教师-学生设定中，任何学习过程可实现的最优泛化误差是多少？

主要发现

• 在过参数化设定且训练样本足够多的情形下，两层神经网络中训练数据与网络权重之间的互信息被广义线性模型的互信息所限制。
• 在相同缩放条件下，神经网络的贝叶斯最优泛化误差在信息论意义上等价于广义线性模型的泛化误差。
• 高斯等价性原理（GEP）在此设定中得到严格验证，表明非线性激活在高维极限下导致类似线性行为。
• 边界显式依赖于训练样本数量、输入维度与隐藏单元数，提供了对泛化极限的定量刻画。
• 该分析适用于任何学习算法，因其为信息论性质而非算法特定，从而确立了性能的理论上限。
• 在推导出的缩放条件下，渐近展开中的高阶修正项被证明可忽略，证实了与广义线性模型等价性的稳健性。