[论文解读] Delving Deeper into Data Scaling in Masked Image Modeling

Cheng-Ze Lu, Xiaojie Jin+4 more|arXiv (Cornell University)|May 24, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文使用从网络收集的 Coyo-700M 数据集研究了掩码图像建模（MIM）中的数据缩放问题，对 ViT 模型在 0.5M 至 100M 张图像的子数据集上进行训练。研究发现，当训练图像超过 1000 万张后，MIM 性能趋于饱和，尽管使用更强的编码器或更长的预训练时间，大多数下游任务的性能提升也十分有限，仅在长尾的 LVIS 上，性能随着数据量增加而持续提升。

ABSTRACT

Understanding whether self-supervised learning methods can scale with unlimited data is crucial for training large-scale models. In this work, we conduct an empirical study on the scaling capability of masked image modeling (MIM) methods (e.g., MAE) for visual recognition. Unlike most previous works that depend on the widely-used ImageNet dataset, which is manually curated and object-centric, we take a step further and propose to investigate this problem in a more practical setting. Specifically, we utilize the web-collected Coyo-700M dataset. We randomly sample varying numbers of training images from the Coyo dataset and construct a series of sub-datasets, containing 0.5M, 1M, 5M, 10M, and 100M images, for pre-training. Our goal is to investigate how the performance changes on downstream tasks when scaling with different sizes of data and models. The study reveals that: 1) MIM can be viewed as an effective method to improve the model capacity when the scale of the training data is relatively small; 2) Strong reconstruction targets can endow the models with increased capacities on downstream tasks; 3) MIM pre-training is data-agnostic under most scenarios, which means that the strategy of sampling pre-training data is non-critical. We hope these observations could provide valuable insights for future research on MIM.

研究动机与目标

• 研究在使用日益庞大的网络收集数据集进行预训练时，掩码图像建模（MIM）方法的可扩展性，超越以往使用 ImageNet 等精选数据集的研究。
• 评估 MIM 预训练是否能有效利用无限量的数据，特别是在下游任务性能方面的表现。
• 研究重建目标质量与采样策略对 MIM 中数据可扩展性的影响。
• 确定在包括长尾基准在内的多样化下游任务中，更大数据集带来的性能增益是否持续存在。

提出的方法

• 从 Coyo-700M 网络爬取数据集中构建一系列子数据集，分别包含 0.5M、1M、5M、10M 和 100M 张图像，以实现系统的预训练。
• 采用 MAE 框架，使用标准 ViT 编码器，并通过不同目标编码器（如 CLIP-B/16、CLIP-L/14、EVA-G/14）改变重建目标。
• 使用固定的训练超参数在这些子数据集上预训练模型，并在标准下游任务（iNaturalist2018、ImageNet-5k、ImageNet-1k 和 LVIS）上进行评估。
• 通过比较不同目标编码器大小和预训练时长的性能，评估重建质量与训练长度的影响。
• 使用 LVIS 基准测试在类别不平衡条件下评估泛化能力，以检验在数据可扩展性方面的表现。
• 对采样策略进行消融研究，表明在不同网络规模数据子集上，数据无关性（data agnosticism）依然成立。

实验结果

研究问题

• RQ1 当预训练数据量超过 1000 万张图像时，掩码图像建模（MIM）是否仍能持续提升下游任务性能？
• RQ2 通过使用更大目标编码器提升重建目标质量，是否会影响 MIM 预训练中的数据可扩展性？
• RQ3 在使用网络规模数据集时，MIM 预训练对数据采样策略是否敏感？
• RQ4 在长尾下游基准（如 LVIS）上，MIM 中的数据缩放是否能带来可测量的性能增益？
• RQ5 更长的预训练时间是否能打破在大规模数据集上观察到的性能饱和现象？

主要发现

• 在 ImageNet-1k 和 iNaturalist2018 等标准基准上，MIM 预训练性能在训练图像超过约 1000 万张后趋于饱和，更大数据集未带来显著性能提升。
• 使用更强的目标编码器（如参数量约 10 亿的 EVA-G/14）将 Top-1 准确率提升了 0.3%（相比 CLIP-L/14），但未能突破大规模数据下的性能饱和。
• 在 100M 张图像上预训练 15 个周期，在 ImageNet-1k 上达到 86.94% 的 Top-1 准确率，延长训练至 10 个周期未带来性能提升，表明已收敛。
• 在长尾的 LVIS 基准上，性能随数据量增加而持续提升：AP^box 从 0.5M 数据的 28.00 上升至 100M 数据的 47.30，表明在稀有类别检测中具有数据可扩展性。
• MIM 预训练具有高度的数据无关性——在不同网络规模数据子集上采用不同采样策略，对下游性能影响甚微。
• 尽管进行了广泛实验，但任何方法上的改变（更强的目标编码器、更长的训练时间、更优的采样策略）均未能打破在超过 1000 万张图像后观察到的性能饱和现象。