[论文解读] A Constructive Prediction of the Generalization Error Across Scales

Jonathan S. Rosenfeld, Amir Rosenfeld+2 more|arXiv (Cornell University)|Sep 27, 2019

Advanced Neural Network Applications参考文献 47被引用 49

一句话总结

本文提出了一种简单、可预测的通用化误差函数形式，该形式依赖于模型规模和数据规模，使在固定缩放策略下能够从小规模外推到大规模。

ABSTRACT

The dependency of the generalization error of neural networks on model and dataset size is of critical importance both in practice and for understanding the theory of neural networks. Nevertheless, the functional form of this dependency remains elusive. In this work, we present a functional form which approximates well the generalization error in practice. Capitalizing on the successful concept of model scaling (e.g., width, depth), we are able to simultaneously construct such a form and specify the exact models which can attain it across model/data scales. Our construction follows insights obtained from observations conducted over a range of model/data scales, in various model types and datasets, in vision and language tasks. We show that the form both fits the observations well across scales, and provides accurate predictions from small- to large-scale models and data.

研究动机与目标

• 理解在缩放策略下，泛化误差如何与模型规模和数据集规模共同相关。
• 提出一个简单、可解释的函数形式，能拟合跨视觉和语言任务的误差分布。
• 证明所提出的形式能够在不同尺度之间高精度地内插和外推泛化误差。

提出的方法

• 在视觉和语言等多数据集和模型上进行经验分析，以识别缩放模式。
• 提出一个参数化的误差函数，将数据规模和模型规模中的幂律项与一个过渡包络相结合。
• 使用10折交叉验证将该函数拟合到小规模测量，并在各数据集上评估拟合质量。
• 展示从已观测的到未观测的大规模配置的外推，并评估预测准确性。

实验结果

研究问题

• RQ1 在给定缩放策略下，泛化误差、模型规模和数据集规模之间的函数关系是什么？
• RQ2 一个简单的参数化形式是否能够准确拟合并预测跨视觉和语言任务的误差分布？
• RQ3 在提出的缩放策略下，小规模测量在多大程度上能够预测大规模的性能？
• RQ4 在较小规模数据拟合后，模型对未见过的（更大）尺度的泛化能力有多好？

主要发现

• 误差分布在某些区域呈现幂律行为，对数据规模和模型规模的误差在保持另一变量不变的情况下近似成立。
• 一个提出的函数epsilon(m, n) ≈ a(m)n^(-α(m)) + b(n)m^(-β(n)) + c_infty 捕捉了误差对模型规模和数据规模的联合依赖。
• 一个包络线使初始随机猜测误差到幂律区间的平滑过渡，从而在各尺度上实现实际拟合。
• 在各数据集上，估计误差与实际误差的平均偏差在大多数情况下小于1%，标准差小于5%。
• 在各种配置下，从小尺度外推到大尺度的平均偏差在几个百分点左右（例如，ImageNet为4.5%，WikiText-103为0.5%）。
• 该方法在多种架构和优化器上保持准确性，包括 ResNet、WRN、VGG、DenseNet、AWD-LSTM 和 Transformer 变体。