[论文解读] INTERN: A New Learning Paradigm Towards General Vision

Jing Shao, Siyu Chen+25 more|arXiv (Cornell University)|Nov 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用 10

一句话总结

本文提出 INTERN，一种用于通用视觉的新型多阶段学习范式，通过在各阶段利用多种监督信号（初学者：广泛预训练；专家：任务特定微调；通才：多任务适应），使单一模型能够泛化于多种计算机视觉任务。该模型仅使用10%的下游训练数据，就在26项基准测试中达到最先进性能，显著优于先前方法如 CLIP。

ABSTRACT

Enormous waves of technological innovations over the past several years, marked by the advances in AI technologies, are profoundly reshaping the industry and the society. However, down the road, a key challenge awaits us, that is, our capability of meeting rapidly-growing scenario-specific demands is severely limited by the cost of acquiring a commensurate amount of training data. This difficult situation is in essence due to limitations of the mainstream learning paradigm: we need to train a new model for each new scenario, based on a large quantity of well-annotated data and commonly from scratch. In tackling this fundamental problem, we move beyond and develop a new learning paradigm named INTERN. By learning with supervisory signals from multiple sources in multiple stages, the model being trained will develop strong generalizability. We evaluate our model on 26 well-known datasets that cover four categories of tasks in computer vision. In most cases, our models, adapted with only 10% of the training data in the target domain, outperform the counterparts trained with the full set of data, often by a significant margin. This is an important step towards a promising prospect where such a model with general vision capability can dramatically reduce our reliance on data, thus expediting the adoption of AI technologies. Furthermore, revolving around our new paradigm, we also introduce a new data system, a new architecture, and a new benchmark, which, together, form a general vision ecosystem to support its future development in an open and inclusive manner. See project website at https://opengvlab.shlab.org.cn .

研究动机与目标

• 解决为每个新视觉应用训练任务特定模型所带来的高数据和计算成本问题。
• 克服单一监督预训练的局限性，后者仅将泛化能力限制在狭窄的任务集合中。
• 开发一种可扩展、统一的流程，使单一模型能够有效适应多样化甚至未见过的视觉任务。
• 通过实现高效的少样本适应，减少对大规模标注数据集的依赖。
• 建立一个完整的生态系统——包括数据、架构和基准——以促进通用视觉模型的开放、包容性发展。

提出的方法

• INTERN 采用三阶段预训练流程：(I) 上游-初学者，(II) 上游-专家，(III) 通才，模仿人类实习生的学习进程。
• 上游-初学者阶段使用大规模、多源监督信号（如图像级标签、边界框、分割掩码和自然语言）进行广泛的表征学习。
• 上游-专家阶段在特定任务（分类、检测、分割）上对模型进行微调，通过强监督建立任务特定的专业能力。
• 通才阶段整合所有先前阶段的知识，通过统一、灵活的适配头实现在新任务上的快速适应。
• 设计了一套新的数据系统，以支持多样化的监督信号，包括定制化的标签系统和用于高质量、可扩展数据收集的数据流水线。
• 引入一个新的基准——通用视觉基准（General Vision Benchmark），用于评估在26项多样化视觉任务上的泛化能力，并确保可复现性。

实验结果

研究问题

• RQ1 通过多阶段学习范式，单一视觉模型是否能在使用多样化甚至未见过的视觉任务时实现强大的泛化能力？
• RQ2 与单一监督预训练相比，多源监督信号学习（如类别、边界框、掩码、语言）在提升模型泛化能力方面的有效性如何？
• RQ3 在仅使用10%下游数据进行微调的情况下，使用 INTERN 预训练的模型能否实现与任务特定模型相当或更优的性能？
• RQ4 所提出的范式是否能降低视觉 AI 中的数据依赖性，同时在广泛的任务范围内保持或提升性能？
• RQ5 INTERN 框架在面向未来集成新模态（如视频、音频）或新任务时，其可扩展性和可扩展性如何？

主要发现

• 最大的 INTERN 模型 Up-G MN-B15 在26项评估视觉任务中的大多数任务上，即使仅使用10%的下游训练数据，也优于目前公开的最佳模型（CLIP-R50×16）。
• 平均而言，INTERN 模型在所有四类任务——分类、检测、分割和检索——中均表现出色，展现出强大的零样本和少样本泛化能力。
• 该模型在仅使用10%下游数据时的性能，经常超过以往研究中使用完整数据集训练的模型，表明数据效率实现了显著提升。
• 多阶段预训练方案使模型能够有效学习多样化的监督信号，从而获得稳健且灵活的表征。
• 所提出的通用视觉基准为未来通用视觉模型的研究提供了标准化、全面的评估平台。
• 该生态系统，包括数据系统、架构（MetaNet 系列）和基准，支持通用视觉模型的可复现和可扩展开发。