[论文解读] General Object Foundation Model for Images and Videos at Scale

Junfeng Wu, Yi Jiang+4 more|arXiv (Cornell University)|Dec 14, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出 GLEE，一种通用物体基础模型，通过共享的多模态框架（包含图像编码器、文本编码器和视觉提示器）统一处理图像和视频中的检测、分割、跟踪、定位与识别任务。该模型在超过500万张多样化、弱监督的图像上进行训练，无需任务特定微调即可在15项以上以物体为中心的任务上实现最先进（SOTA）的零样本泛化性能。

ABSTRACT

We present GLEE in this work, an object-level foundation model for locating and identifying objects in images and videos. Through a unified framework, GLEE accomplishes detection, segmentation, tracking, grounding, and identification of arbitrary objects in the open world scenario for various object perception tasks. Adopting a cohesive learning strategy, GLEE acquires knowledge from diverse data sources with varying supervision levels to formulate general object representations, excelling in zero-shot transfer to new data and tasks. Specifically, we employ an image encoder, text encoder, and visual prompter to handle multi-modal inputs, enabling to simultaneously solve various object-centric downstream tasks while maintaining state-of-the-art performance. Demonstrated through extensive training on over five million images from diverse benchmarks, GLEE exhibits remarkable versatility and improved generalization performance, efficiently tackling downstream tasks without the need for task-specific adaptation. By integrating large volumes of automatically labeled data, we further enhance its zero-shot generalization capabilities. Additionally, GLEE is capable of being integrated into Large Language Models, serving as a foundational model to provide universal object-level information for multi-modal tasks. We hope that the versatility and universality of our method will mark a significant step in the development of efficient visual foundation models for AGI systems. The model and code will be released at https://glee-vision.github.io .

研究动机与目标

• 开发一个统一且可扩展的基础模型，实现对图像与视频中多样化以物体为中心的视觉任务的泛化能力。
• 克服现有视觉基础模型局限于特定任务或仅关注全局图像特征的局限性。
• 通过利用多粒度、多源数据并结合不同监督水平，实现强大的零样本迁移性能。
• 通过视觉提示（如点、框、草图）支持交互式分割与跟踪，实现与用户的实时交互。
• 作为多模态通用人工智能系统中的通用视觉感知骨干，与大型语言模型有效集成。

提出的方法

• 采用统一框架，结合图像编码器、文本编码器与视觉提示器，处理多模态输入（图像 + 文本 + 视觉提示）。
• 在来自多样化数据集的500万张以上图像上采用联合训练范式，涵盖不同标注粒度（边界框、分割掩码、指代表达）。
• 整合自动标注数据以增强零样本泛化能力，降低对人工标注数据的依赖。
• 应用一致的学习策略，实现跨任务的优化对齐，同步提升所有下游任务的性能。
• 通过基于Transformer的注意力机制，融合提示特征（如点、框）与前一帧的掩码，实现交互式分割与跟踪。
• 设计可扩展的训练流程，支持在开放世界数据集（如 ODinW）上进行全模型微调与少样本适应。

实验结果

研究问题

• RQ1 单一基础模型是否能在无需任务特定微调的情况下，在多样化以物体为中心的视觉任务上实现最先进性能？
• RQ2 在多粒度、多源数据并结合不同监督水平的数据上进行联合训练，对提升零样本泛化能力有多有效？
• RQ3 视觉提示（如点、框、草图）在图像与视频中实现交互式分割与跟踪的潜力有多大？
• RQ4 在开放世界数据集（如 ODinW）上，该模型在少样本与零样本设置下的表现如何？
• RQ5 该模型是否能有效集成到大型语言模型中，作为通用视觉感知模块？

主要发现

• GLEE 在 COCO、LVIS 和 RefCOCO 等基准上，于15项以上以物体为中心的任务（包括检测、分割、定位与跟踪）中实现了最先进（SOTA）的零样本性能。
• 在 ODinW 数据集上，GLEE 在1-shot设置下达到72.6% mAP（IoU=0.50:0.95），在10-shot设置下达到74.1%，展现出强大的少样本迁移能力。
• GLEE-Plus 在全微调设置下，LVIS数据集上达到89.7% AP，RefCOCO+数据集上达到83.6%，优于先前模型如 GLIP-L 和 DyHead。
• GLEE-Pro 在 COCO test-dev 集上达到92.0% AP，在 RefCOCO 上达到80.6%，在开放词汇与指代表达任务中表现强劲。
• 通过视觉提示支持的交互式分割与跟踪在图像与视频设置中均实现了高精度，经定性分析与在线演示验证。
• 模型在未见类别与领域上表现出强大泛化能力，整合自动标注数据与多源监督后性能进一步提升。