[论文解读] A Dynamical Model of Neural Scaling Laws

Blake Bordelon, Alexander Atanasov+1 more|arXiv (Cornell University)|Feb 2, 2024

Neural dynamics and brain function被引用 4

一句话总结

本文提出了一种基于随机特征网络与梯度下降的可解动力学模型，以解释神经网络缩放定律。该模型推导出非对称的计算最优缩放规则，其中训练时间的缩放速度超过模型大小；预测了与宽度相关的后期损失指数；并解释了由于数据重复使用导致的有限宽度修正——为深度学习中的关键经验缩放现象提供了统一理论。

ABSTRACT

On a variety of tasks, the performance of neural networks predictably improves with training time, dataset size and model size across many orders of magnitude. This phenomenon is known as a neural scaling law. Of fundamental importance is the compute-optimal scaling law, which reports the performance as a function of units of compute when choosing model sizes optimally. We analyze a random feature model trained with gradient descent as a solvable model of network training and generalization. This reproduces many observations about neural scaling laws. First, our model makes a prediction about why the scaling of performance with training time and with model size have different power law exponents. Consequently, the theory predicts an asymmetric compute-optimal scaling rule where the number of training steps are increased faster than model parameters, consistent with recent empirical observations. Second, it has been observed that early in training, networks converge to their infinite-width dynamics at a rate $1/ extit{width}$ but at late time exhibit a rate $ extit{width}^{-c}$, where $c$ depends on the structure of the architecture and task. We show that our model exhibits this behavior. Lastly, our theory shows how the gap between training and test loss can gradually build up over time due to repeated reuse of data.

研究动机与目标

• 理解神经缩放定律的起源，特别是固定计算量下模型大小与训练时间的非对称缩放。
• 解释为何训练时间与模型大小的缩放指数不同，从而导致非均匀的计算最优策略。
• 建模有限宽度效应与数据重复使用随时间的累积，解释训练损失与测试损失之间的性能差距。
• 推导依赖于架构与任务的后期缩放指数，与早期的 $1/\text{width}$ 行为形成对比。
• 阐明在无限宽度极限下，集成与宽度扩展的局限性，表明在有限设置中二者并不等价。

提出的方法

• 将随机特征模型在梯度下降下训练视为深度网络训练的可解代理。
• 应用平均场理论与动力学消息传递（DMP）方法，在无限宽度极限下计算相关函数与响应函数。
• 通过离散时间下的自洽方程推导损失、相关函数与响应函数的序参量。
• 利用傅里叶变换方法，通过主值与狄拉克函数分解处理模型/数据瓶颈区域（$\alpha < 1$ 或 $\nu < 1$）中的奇点。
• 通过在固定计算量 $C = Nt$ 下最小化幂律之和，求解计算最优缩放的优化问题。
• 数值迭代自洽方程以计算响应函数与相关函数，进而获得测试损失与缩放指数。

(a) One-Pass CIFAR-5M Test Dynamics

实验结果

研究问题

• RQ1 为何训练时间与模型大小的缩放指数不同？这如何导致非对称的计算最优缩放？
• RQ2 有限宽度修正如何随时间演化？为何其行为从 $1/\text{width}$ 转变为 $\text{width}^{-c}$？
• RQ3 是什么导致了由于数据重复使用而引起的泛化差距逐渐增大？
• RQ4 为何更宽的模型并不总能更好地泛化，特别是在重复数据训练的后期？
• RQ5 在有限宽度条件下，集成与增加宽度的缩放行为有何异同？

主要发现

• 该模型预测非对称的计算最优缩放，其中 $t \propto C^{c_2}$ 且 $N \propto C^{c_1}$，且 $c_2 > c_1$，与大规模语言模型中的经验观察一致。
• 该理论重现了从早期 $1/\text{width}$ 有限宽度修正到后期 $\text{width}^{-c}$ 缩放的转变，其中 $c$ 依赖于架构与任务。
• 即使在无显式过拟合的情况下，由于数据重复使用，训练损失与测试损失之间的泛化差距仍会逐渐增大。
• 该模型表明，在有限宽度设置中，集成无法复制增加宽度带来的优势，挑战了二者在实践中等价的假设。
• 计算最优损失缩放为 $\mathcal{L}_\star(C) \propto C^{-\frac{r_t r_N}{r_t + r_N}}$，由在固定计算量下最小化幂律之和推导得出。
• 该模型捕捉了在数据重复下测试损失随宽度变化的非单调行为，解释了在后期训练中‘越宽越好’趋势的反转。

(c) Wikitext-100M Train and Test