[论文解读] Explaining Neural Scaling Laws

Yasaman Bahri, Ethan Dyer+3 more|arXiv (Cornell University)|Feb 12, 2021

Neural Networks and Applications参考文献 79被引用 31

一句话总结

论文提出一个理论，解释四种神经网络缩放规律（数据集规模与模型大小的方差受限与分辨率受限两种情形），将指数与数据流形的内在维度及核谱联系起来，并在随机特征和预训练模型、标准数据集上给出经验验证。

ABSTRACT

The population loss of trained deep neural networks often follows precise power-law scaling relations with either the size of the training dataset or the number of parameters in the network. We propose a theory that explains the origins of and connects these scaling laws. We identify variance-limited and resolution-limited scaling behavior for both dataset and model size, for a total of four scaling regimes. The variance-limited scaling follows simply from the existence of a well-behaved infinite data or infinite width limit, while the resolution-limited regime can be explained by positing that models are effectively resolving a smooth data manifold. In the large width limit, this can be equivalently obtained from the spectrum of certain kernels, and we present evidence that large width and large dataset resolution-limited scaling exponents are related by a duality. We exhibit all four scaling regimes in the controlled setting of large random feature and pretrained models and test the predictions empirically on a range of standard architectures and datasets. We also observe several empirical relationships between datasets and scaling exponents under modifications of task and architecture aspect ratio. Our work provides a taxonomy for classifying different scaling regimes, underscores that there can be different mechanisms driving improvements in loss, and lends insight into the microscopic origins of and relationships between scaling exponents.

研究动机与目标

• 解释为何神经网络在数据集规模和参数数量上呈现幂律缩放。
• 将缩放指数与数据分布、数据流形的内在维度及核谱联系起来。
• 提供一个统一框架，涵盖对 D 和 P 的方差受限与分辨率受限两种情形。
• 利用可解的线性/随机特征教师-学生模型以及在标准架构/数据集上的实验来证明理论。

提出的方法

• 定义四种缩放规律：数据集规模 D 和参数数量 P（或宽度 w）的方差受限与分辨率受限两种情形。
• 建立理论论证：方差受限的指数来自无穷数据或无穷宽度极限的平滑性；分辨率受限的指数来自模型将数据流形划分以及核谱的特征。
• 给出可解的线性/随机特征教师-学生模型以实现所有四种情形并推导损失公式（例如 L(P) 和 L(D)）。
• 将分辨率受限的指数与数据流形的内在维度 d 及核谱衰减（lambda_i ~ i^-(1+alpha_K)）联系起来。
• 展示在欠参数化/过参数化两种情形之间的对偶性以及通过核谱对指数的联系。
• 结合在标准数据集和架构上的随机特征与预训练模型实验来支持理论。

实验结果

研究问题

• RQ1 神经网络在数据集规模 D 和参数数量 P 下的缩放规律是什么？
• RQ2 缩放指数如何依赖数据分布、数据流形的内在维度 d 和核谱？
• RQ3 是否存在一个统一理论来解释在不同模型情形下的方差受限与分辨率受限缩放？
• RQ4 架构选择和数据预处理（噪声、超类化等）如何影响缩放指数？
• RQ5 简单的可解模型（线性/随机特征）是否能重现真实网络中观察到的四种缩放行为？

主要发现

• 识别并得到经验证的四种缩放规律：数据分布相关的数据集与参数量的方差受限，以及与数据分布相关的分辨率受限，两者均可适用于 D 与 P。
• 在方差受限的情形中，指数在合适条件下具有通用性（alpha_D = alpha_W = 1）。
• 在分辨率受限的情形中，指数依赖于数据分布，与数据流形的内在维度 d 及核谱衰减相关。
• 通过核谱与数据点投影，建立欠参数化与过参数化情形之间的对偶性。
• 随机特征与预训练模型实验再现这四种规律，指数受数据集、架构与输入分布的影响。
• 通过引入噪声或数据集来改变输入分布可以显著改变指数，而对 superclassing 的影响较小。