[论文解读] Broken Neural Scaling Laws

Ethan Caballero, Kshitij Gupta+2 more|arXiv (Cornell University)|Oct 26, 2022

Neural Networks and Applications被引用 14

一句话总结

本文提出了断裂神经缩放律（BNSL），一种平滑分段幂律函数形式，用于建模并外推深度学习在多种任务和架构中的缩放行为。BNSL 能够捕捉双下降和尖锐拐点等非单调现象——这些现象此前无法被标准幂律所建模——并在视觉、语言、语音、机器人学及人工智能对齐等任务中展现出优于传统幂律的外推精度，包括将缩放范围扩展至 100,000 倍以上的计算规模。

ABSTRACT

We present a smoothly broken power law functional form (that we refer to as a Broken Neural Scaling Law (BNSL)) that accurately models & extrapolates the scaling behaviors of deep neural networks (i.e. how the evaluation metric of interest varies as amount of compute used for training (or inference), number of model parameters, training dataset size, model input size, number of training steps, or upstream performance varies) for various architectures & for each of various tasks within a large & diverse set of upstream & downstream tasks, in zero-shot, prompted, & finetuned settings. This set includes large-scale vision, language, audio, video, diffusion, generative modeling, multimodal learning, contrastive learning, AI alignment, AI capabilities, robotics, out-of-distribution (OOD) generalization, continual learning, transfer learning, uncertainty estimation / calibration, OOD detection, adversarial robustness, distillation, sparsity, retrieval, quantization, pruning, fairness, molecules, computer programming/coding, math word problems, "emergent phase transitions", arithmetic, supervised learning, unsupervised/self-supervised learning, & reinforcement learning (single agent & multi-agent). When compared to other functional forms for neural scaling, this functional form yields extrapolations of scaling behavior that are considerably more accurate on this set. Moreover, this functional form accurately models & extrapolates scaling behavior that other functional forms are incapable of expressing such as the nonmonotonic transitions present in the scaling behavior of phenomena such as double descent & the delayed, sharp inflection points present in the scaling behavior of tasks such as arithmetic. Lastly, we use this functional form to glean insights about the limit of the predictability of scaling behavior. Code is available at https://github.com/ethancaballero/broken_neural_scaling_laws

研究动机与目标

• 解决传统幂律缩放律在建模深度学习缩放中非单调行为与拐点行为方面的局限性。
• 开发一种函数形式，能够准确建模并外推广泛人工智能任务与架构中的缩放行为。
• 实现对大规模模型性能的可靠预测，特别是对涌现能力与安全关键行为的预测。
• 提供一个统一框架，用于外推现有模型无法覆盖的缩放规律，包括极端规模外推（例如，扩展至训练数据规模的 100,000 倍以上）。

提出的方法

• 提出一种在对数-对数空间中呈分段线性的平滑断裂幂律（BNSL），允许多个具有不同斜率的段落通过平滑过渡连接。
• 将函数形式定义为每个段落中 y = a + b * x^(-c)，其中断点为斜率发生变化的位置，从而能够建模缩放行为中的突变或渐变转变。
• 使用非线性最小二乘法拟合（通过 SciPy 实现）从多样化任务与规模的实证数据中估计参数（a, b, c 及断点）。
• 在涵盖视觉、语言、语音、机器人学、强化学习及人工智能对齐的 30 多项任务中验证该模型，使用真实世界数据集与已发表结果。
• 在零样本、提示词引导与微调设置下，将 BNSL 的外推性能与标准幂律及其他函数形式进行对比。
• 将 BNSL 应用于将缩放曲线外推至最大观测规模的 100,000 倍以上，包括 GPT-4 及其他大模型。

实验结果

研究问题

• RQ1 能否开发一种函数形式，以准确建模并外推诸如双下降与延迟拐点等非单调缩放行为？
• RQ2 BNSL 在外推观测数据范围之外的缩放规律时表现如何，特别是在存在剧烈转变或复杂缩放动态的任务中？
• RQ3 BNSL 在涵盖零样本、提示词引导与微调设置的多样化人工智能任务中（包括视觉、语言、语音与多模态学习）具有多大程度的泛化能力？
• RQ4 与传统幂律相比，BNSL 是否能以更高精度预测极端规模下的缩放行为（例如，训练数据规模的 100,000 倍以上）？
• RQ5 BNSL 为深度学习系统中缩放行为的可预测性极限提供了哪些新见解？

主要发现

• BNSL 在 30 多项多样化人工智能任务中（包括视觉、语言、语音、机器人学及人工智能对齐）均能准确建模并外推缩放行为，表现优于标准幂律。
• BNSL 有效捕捉了双下降与尖锐拐点等非单调行为——这些现象是标准幂律无法表达的。
• 在缩放规律基准测试（Alabdulmohsin et al., 2022）中，BNSL 对 ImageNet、CIFAR-100、Caltech101 与 BIG-Bench 的外推结果准确，仅在断点附近因数据不足导致少数失败。
• 对于下游语言与编程任务，BNSL 利用 GPT-4 训练计算与性能数据，将缩放曲线外推至最大观测规模的 100,000 倍以上计算规模。
• 与其它函数形式相比，BNSL 在预测极端规模与相变过程中的性能表现更优，尤其在外推精度方面优势显著。
• 该模型揭示了缩放行为并非总是单调的，且缩放曲线中的断点普遍存在且具有预测性，表明未来模型开发必须考虑此类结构性转变。