[论文解读] Meta-Transformer: A Unified Framework for Multimodal Learning
Meta-Transformer 提出一个单一的冻结编码器框架,通过模态无关的数据分词器和任务特定的头来统一 12 种模态,实现带有强跨领域结果的非配对多模态学习。
Multimodal learning aims to build models that can process and relate information from multiple modalities. Despite years of development in this field, it still remains challenging to design a unified network for processing various modalities ($ extit{e.g.}$ natural language, 2D images, 3D point clouds, audio, video, time series, tabular data) due to the inherent gaps among them. In this work, we propose a framework, named Meta-Transformer, that leverages a $ extbf{frozen}$ encoder to perform multimodal perception without any paired multimodal training data. In Meta-Transformer, the raw input data from various modalities are mapped into a shared token space, allowing a subsequent encoder with frozen parameters to extract high-level semantic features of the input data. Composed of three main components: a unified data tokenizer, a modality-shared encoder, and task-specific heads for downstream tasks, Meta-Transformer is the first framework to perform unified learning across 12 modalities with unpaired data. Experiments on different benchmarks reveal that Meta-Transformer can handle a wide range of tasks including fundamental perception (text, image, point cloud, audio, video), practical application (X-Ray, infrared, hyperspectral, and IMU), and data mining (graph, tabular, and time-series). Meta-Transformer indicates a promising future for developing unified multimodal intelligence with transformers. Code will be available at https://github.com/invictus717/MetaTransformer
研究动机与目标
- 激励设计一个模态无关框架,在一个公共参数空间下统一多模态感知。
- 提出 Meta-Transformer,具备模态专用的分词器、共享的冻结编码器,以及面向下游任务的头部。
- 在 12 种模态上展示该框架,使用非配对数据和基于图像的预训练。
- 分析分词、编码器共享和头部如何促成跨模态表征及下游任务性能。
提出的方法
- 引入一个模态专用的数据到序列分词器,将多样化的数据映射到一个共享的令牌空间。
- 使用一个模态共享的 Transformer 编码器,参数被冻结,使用在 LAION-2B 上的预训练并用于文本的 CLIP 文本分词器,形成一个统一的骨干网络。
- 附加任务特定的头部以将表征适配到下游任务,同时保持骨干网络冻结。
- 在序列前置一个可学习的 CLS 令牌并添加位置嵌入以编码序列。
- 在保持核心编码器冻结的同时训练任务头部(以及轻量级分词器),以实现非配对的多模态学习。
实验结果
研究问题
- RQ1一个冻结的 Transformer 骨干网络,结合模态特定的分词器,是否可以有效编码 12 种不同模态?
- RQ2在多大程度上,非配对的多模态数据能够支持跨文本、图像、3D、音频、视频等模态的统一感知?
- RQ3嵌入、分词策略和下游头部如何交互以在各模态上实现有竞争力的下游性能?
主要发现
- 该框架在共享编码器和非配对数据下支持 12 种模态,在基准测试中取得有竞争力的结果。
- 与 CLIP 文本编码器配合时,Meta-Transformer-B16_F 的零-shot 图像分类在 ImageNet-1K 上达到 69.3%,对 B16_T 的调优提升至 85.4%,对 L14_T 提升至 88.1% 在 ImageNet-1K。
- 在 GLUE 文本理解任务上,冻结在图像上预训练的模型在 SST-2 获得 54.6,MRPC 81.1,QQP 66.0,MNLI 63.4,QNLI 56.3;调优后分别为 81.3、81.8、78.0、70.0、60.3。
- 在图像理解方面,Meta-Transformer-L14_T 在 ImageNet-1K 上达到 88.1% 的 top-line 精度,目标检测的 AP 为 56.3%,语义分割的 mIoU 为 55.0%(L14_T)。
- 在 infrared/hyperspectral/X-ray 领域,Meta-Transformer 在 B16_F 下实现有竞争力的 infrared Rank-1 73.50% 和 mAP 65.19%,X-ray 准确率 94.1%,同时仅需极少可训练参数(0.75M)。
- 点云结果显示与 2D 骨干网络相比具有竞争力,例如 Meta-Transformer-B16_F 在 ModelNet-40 上达到 93.6% OA,在 S3DIS Area-5 上达到 83.5% mIoU,且参数量紧凑。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。