[论文解读] 4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities

Roman Bachmann, Oğuzhan Fatih Kar+7 more|arXiv (Cornell University)|Jun 13, 2024

Quality Function Deployment in Product Design被引用 4

一句话总结

该论文提出4M-21，一种在21种多样化模态（包括图像、文本、特征图、人体姿态和语义实例）上进行训练的单一统一视觉模型，通过模态特定的离散标记化方法实现。该模型在数十项任务中达到最先进性能，且无性能下降，支持任意模态之间的生成以及视觉与语言的联合训练，参数规模达30亿。

ABSTRACT

Current multimodal and multitask foundation models like 4M or UnifiedIO show promising results, but in practice their out-of-the-box abilities to accept diverse inputs and perform diverse tasks are limited by the (usually rather small) number of modalities and tasks they are trained on. In this paper, we expand upon the capabilities of them by training a single model on tens of highly diverse modalities and by performing co-training on large-scale multimodal datasets and text corpora. This includes training on several semantic and geometric modalities, feature maps from recent state of the art models like DINOv2 and ImageBind, pseudo labels of specialist models like SAM and 4DHumans, and a range of new modalities that allow for novel ways to interact with the model and steer the generation, for example image metadata or color palettes. A crucial step in this process is performing discrete tokenization on various modalities, whether they are image-like, neural network feature maps, vectors, structured data like instance segmentation or human poses, or data that can be represented as text. Through this, we expand on the out-of-the-box capabilities of multimodal models and specifically show the possibility of training one model to solve at least 3x more tasks/modalities than existing ones and doing so without a loss in performance. This enables more fine-grained and controllable multimodal generation capabilities and allows us to study the distillation of models trained on diverse data and objectives into a unified model. We successfully scale the training to a three billion parameter model using tens of modalities and different datasets. The resulting models and training code are open sourced at 4m.epfl.ch.

研究动机与目标

• 解决现有基础模型仅支持少量模态和任务所带来的即插即用能力有限的问题。
• 克服在扩展至高度多样化的模态（数据类型和维度各异）时多任务学习中的性能下降问题。
• 通过整合人体姿态、分割掩码和调色板等结构化与语义模态，实现细粒度、可控制的多模态生成。
• 证明在单一模型中有效统一视觉与语言目标的联合训练，不会产生负迁移。
• 将模型扩展至30亿参数和5亿个训练样本，同时在所有任务中保持强大性能。

提出的方法

• 使用多模态掩码建模训练单一基于Transformer的模型，所有输入和输出均映射到共享的离散标记空间。
• 应用模态特定的离散标记化器：对图像类数据（RGB、边缘）使用基于ViT的VQ-VAE，对向量类数据（DINOv2、ImageBind）使用基于MLP的VAE，对文本类数据（字幕、元数据）使用WordPiece标记化器。
• 整合多种模态，包括RGB图像、深度图、法线图、语义分割、实例掩码（SAM）、3D人体姿态（4DHumans）、Canny边缘、调色板和T5-XXL文本嵌入。
• 在大规模多模态数据集（如CC12M）和文本语料上进行联合训练，以同步优化视觉与语言目标。
• 通过消融实验优化标记化方案——在SAM实例上评估L1、MSE、交叉熵和Dice损失，以IoU作为重建指标。
• 使用128块A100 GPU将训练规模扩展至30亿参数，持续最多11天，每个辅助标记化器在8块A100 GPU上独立训练。

实验结果

研究问题

• RQ1 能否在不导致性能下降的前提下，对数十种高度多样的模态训练单一统一模型，相比专用模型表现更优？
• RQ2 模态特定的离散标记化如何在图像、向量和结构化姿态等异构数据类型之间实现有效的表征学习？
• RQ3 在统一模型中对视觉与语言目标进行联合训练，在多大程度上能提升泛化能力和零样本迁移性能？
• RQ4 在标记化复杂模态（如实例分割掩码）时，重建质量与序列长度之间的最优权衡是什么？
• RQ5 该模型能否以高保真度和可控性支持模态之间的任意生成，包括调色板和元数据等新型模态？

主要发现

• 4M-21在21种多样化模态上实现最先进性能，模态数量是现有任意模态间生成模型的3倍，且与专用模型相比无性能下降。
• 该模型展现出强大的零样本泛化能力和可控生成能力，包括在全部21种模态上的一对多生成。
• 使用16个标记、1024个词汇表大小和64×64分辨率对SAM实例进行基于掩码的标记化，在重建质量（IoU）与序列长度之间达到最佳平衡。
• 在掩码标记化中，交叉熵损失产生的重建结果比L1或MSE损失更平滑、覆盖更完整。
• 完整模型训练约需120,000个A100小时，标记化器训练额外消耗60个A100天，整个项目总计约150,000个A100小时。
• 该模型支持跨模态检索与生成，涵盖3D人体姿态、图像嵌入和调色板等模态，可实现新型人机交互范式。