[论文解读] Exploring the Limits of Large Scale Pre-training

Samira Abnar, Mostafa Dehghani+2 more|arXiv (Cornell University)|Oct 5, 2021

Multimodal Machine Learning Applications参考文献 52被引用 35

一句话总结

该论文表明下游图像识别性能在上游准确度提高时趋于饱和，即使在 Vision Transformers、MLP-Mixers 和 ResNets 的大规模预训练下也如此，并提供一个幂律模型以从上游准确度预测下游性能。

ABSTRACT

Recent developments in large-scale machine learning suggest that by scaling up data, model size and training time properly, one might observe that improvements in pre-training would transfer favorably to most downstream tasks. In this work, we systematically study this phenomena and establish that, as we increase the upstream accuracy, the performance of downstream tasks saturates. In particular, we investigate more than 4800 experiments on Vision Transformers, MLP-Mixers and ResNets with number of parameters ranging from ten million to ten billion, trained on the largest scale of available image data (JFT, ImageNet21K) and evaluated on more than 20 downstream image recognition tasks. We propose a model for downstream performance that reflects the saturation phenomena and captures the nonlinear relationship in performance of upstream and downstream tasks. Delving deeper to understand the reasons that give rise to these phenomena, we show that the saturation behavior we observe is closely related to the way that representations evolve through the layers of the models. We showcase an even more extreme scenario where performance on upstream and downstream are at odds with each other. That is, to have a better downstream performance, we need to hurt upstream accuracy.

研究动机与目标

• 研究上游预训练准确度的提升如何在多样化的架构和数据集的下游图像识别任务中转移。
• 随着上游准确度提高，量化下游性能的饱和现象。
• 开发一个鲁棒的预测模型（幂律）将上游和下游准确度联系起来，考虑非线性以及数据/样本偏差。
• 确定影响下游迁移的架构和超参数因素，并揭示在何处下游任务可能并不从进一步的上游提升中受益。

提出的方法

• 汇聚并分析在 JFT 或 ImageNet21K 上进行预训练、并在 20 以上下游任务上评估的 Vision Transformers、MLP-Mixers 和 ResNets 的超过 4800 个实验。
• 将下游性能建模为上游准确度的幂律形式，带有不可约误差项。
• 使用凸包（最佳情况）拟合以减轻采样偏差，并捕捉给定上游准确度下的最大下游性能。
• 进行控制的扩展实验，改变模型规模、数据规模和计算量，以通过上游准确度评估它们对下游性能的影响。
• 检查跨层的表征演化以解释观测到的饱和现象。
• 探索由于头部超参数设置将信息从头部推送到较低层而导致上游和下游性能分歧的情况。

实验结果

研究问题

• RQ1 通过扩展规模或调整超参数来提高上游准确度，是否在所有任务中等比例转化为下游准确度的提升？
• RQ2 下游性能是否随着上游提升普遍增加，还是会出现饱和？
• RQ3 是否可以使用一个简单模型在不同架构和任务之间从上游准确度可靠地预测下游性能？
• RQ4 哪些因素（架构、数据、计算、超参数）调节下游-上游关系和饱和程度？
• RQ5 为什么在某些超参数配置下，上游和下游性能会分歧？

主要发现

• 下游准确度随着上游准确度提升而趋于饱和，即使在高上游准确度下，下游很少达到 100%。
• 带有不可约误差项的幂律关系有效地建模了跨任务和不同样本量下的下游对上游性能（DS vs US）。
• 即使在相似的上游准确度下，某一下游任务的最佳模型也会随任务而异；不存在一刀切的模型。
• 将幂律拟合到结果的凸包提供鲁棒的下游预测，对样本密度不那么敏感。
• 上游准确度对下游准确度具有强预测力；在上游准确度上进行条件化会降低改变模型规模、数据规模或计算量对下游性能的增量价值。
• 超参数选择，包括头部权重衰减和学习率，可能导致下游和上游性能分歧，这可以用信息从头部推送到较低层来解释。