[论文解读] A Solvable Model of Neural Scaling Laws

Alexander Maloney, Daniel A. Roberts+1 more|arXiv (Cornell University)|Oct 30, 2022

Topic Modeling被引用 12

一句话总结

本文提出了一种可解的统计模型，结合联合生成数据模型与随机特征映射，以解释大规模语言模型中的神经缩放规律。通过在大数据量、大参数量极限下解析求解该模型，揭示了自然数据中的幂律统计特性与非线性特征映射如何导致测试损失的幂律行为，解释了由于有限谱支持导致的性能平顶现象，并确立了等参数化缩放的最优性。

ABSTRACT

Large language models with a huge number of parameters, when trained on near internet-sized number of tokens, have been empirically shown to obey neural scaling laws: specifically, their performance behaves predictably as a power law in either parameters or dataset size until bottlenecked by the other resource. To understand this better, we first identify the necessary properties allowing such scaling laws to arise and then propose a statistical model -- a joint generative data model and random feature model -- that captures this neural scaling phenomenology. By solving this model in the dual limit of large training set size and large number of parameters, we gain insight into (i) the statistical structure of datasets and tasks that lead to scaling laws, (ii) the way nonlinear feature maps, such as those provided by neural networks, enable scaling laws when trained on these datasets, (iii) the optimality of the equiparameterization scaling of training sets and parameters, and (iv) whether such scaling laws can break down and how they behave when they do. Key findings are the manner in which the power laws that occur in the statistics of natural datasets are extended by nonlinear random feature maps and then translated into power-law scalings of the test loss and how the finite extent of the data's spectral power law causes the model's performance to plateau.

研究动机与目标

• 理解在何种统计与结构条件下，大规模语言模型中会出现神经缩放规律。
• 识别非线性特征映射（如神经网络中的映射）在实现模型性能可预测幂律缩放中的作用。
• 研究为何等参数化——即平衡模型规模与数据规模——在性能缩放中是最优的。
• 确定缩放规律失效的条件，特别是由于有限数据谱支持导致的失效。
• 为测试损失随模型规模与数据集规模呈幂律变化的实证观察提供理论基础。

提出的方法

• 提出一种联合生成数据模型，其特征具有幂律分布，并结合随机特征映射模型以模拟神经网络训练过程。
• 利用随机矩阵理论技术，在训练集规模（T）和参数数量（N）均趋于无穷大的双重极限下求解该模型。
• 推导出有效噪声项与标签项的自洽方程，特别关注控制泛化误差的核函数迹Δ。
• 分析Δ在不同参数区域（欠参数化、过参数化、共轭）下的行为，展示其在缩放极限下的普遍性。
• 通过谱截断建模有限数据支持，表明这会导致缩放规律中性能的平台化。
• 在各种假设下（包括截断幂律谱与随机投影）推导出Δ₀与Δ₋₁的显式解析表达式。

实验结果

研究问题

• RQ1 数据集与任务的何种统计特性是神经缩放规律出现的必要条件？
• RQ2 非线性特征映射（如神经网络中的映射）如何将幂律数据统计特性转化为测试损失的幂律缩放？
• RQ3 为何等参数化——即平衡模型规模与数据规模——在性能缩放中是最优的？
• RQ4 在何种条件下神经缩放规律会失效，以及有限数据谱支持如何影响这一失效？
• RQ5 能否通过一个可解的数据与特征映射统计模型，从第一性原理推导出观测到的幂律缩放行为？

主要发现

• 自然数据集中存在的幂律统计特性，经由非线性随机特征映射扩展，转化为测试损失的幂律缩放。
• 数据谱幂律的有限范围导致模型性能出现平台化，解释了缩放规律中观测到的饱和现象。
• 该模型表明，等参数化——即按比例缩放模型规模与数据规模——在缩放区域内能最小化测试损失，是最优策略。
• 在大-N与大-T极限下，有效噪声与标签项表现出普遍行为，仅在极端区域依赖于具体谱分布。
• 当N > M时，Δ₀(T,N)的解析解与随机投影矩阵u无关，仅依赖于参数量N与潜在维度M。
• 数值验证确认了Δ₀(T,N)在各种参数区域下的解析解，仅在极小T或高-α区域因高阶谱效应存在微小偏差。