[论文解读] AnyMAL: An Efficient and Scalable Any-Modality Augmented Language Model

Seungwhan Moon, Andrea Madotto+11 more|arXiv (Cornell University)|Sep 27, 2023

Multimodal Machine Learning Applications被引用 7

一句话总结

AnyMAL 是一种可扩展、高效的多模态语言模型，通过模态专用适配器将文本、图像、视频、音频和IMU传感器数据等多样化输入对齐到一个700亿参数的LLaMA-2模型的文本嵌入空间中。它在多模态基准测试中实现了最先进性能，包括在VQAv2上提升7.0%的准确率，以及在AudioCaps上提升14.5%的CIDEr得分，这得益于在新型高质量多模态指令数据集（MM-IT）上进行的指令微调。

ABSTRACT

We present Any-Modality Augmented Language Model (AnyMAL), a unified model that reasons over diverse input modality signals (i.e. text, image, video, audio, IMU motion sensor), and generates textual responses. AnyMAL inherits the powerful text-based reasoning abilities of the state-of-the-art LLMs including LLaMA-2 (70B), and converts modality-specific signals to the joint textual space through a pre-trained aligner module. To further strengthen the multimodal LLM's capabilities, we fine-tune the model with a multimodal instruction set manually collected to cover diverse topics and tasks beyond simple QAs. We conduct comprehensive empirical analysis comprising both human and automatic evaluations, and demonstrate state-of-the-art performance on various multimodal tasks.

研究动机与目标

• 解决现有开源、可扩展的多模态大语言模型在文本和图像之外对其他模态支持不足的问题。
• 通过统一的基于文本的推理框架，实现对交错多模态输入（例如图像+音频+运动传感器）的联合推理。
• 通过将指令微调扩展到复杂且非受限的多模态任务（超越简单问答），克服现有模型的局限性。
• 开发一种可扩展、高效的训练方法，在保持大语言模型推理能力的同时，实现多模态理解。

提出的方法

• 使用模态专用的轻量级适配器，将来自图像、视频、音频和IMU信号的输入映射到预训练LLaMA-2-70B模型的文本嵌入空间。
• 利用已与文本空间对齐的预训练编码器（如CLIP、CLAP、IMU2CLIP），确保特征兼容性并降低训练成本。
• 在预训练阶段固定LLM参数，以保持其推理能力并加速收敛，仅微调适配器和投影层。
• 通过成对的模态信号与文本描述之间的对比目标进行对齐训练，使用共享的联合标记空间。
• 在新收集的、高质量的多模态指令微调数据集（MM-IT）上微调完整模型，涵盖图像、视频和音频任务在多样化领域中的应用。
• 在推理阶段应用安全机制，包括图像、文本和多模态分类器，以检测并拒绝有害输入或输出。

Figure 1 : Example AnyMAL outputs. The model understands various input signals ( i.e . vision, audio, motion sensor signals), and responds to free-form user queries. When multiple modalities are interleaved and given as input ( e.g . right-most: image + IMU motion sensor signals), the model reasons

实验结果

研究问题

• RQ1 一个统一且可扩展的框架是否能有效将多样化模态（文本、图像、视频、音频和IMU）对齐到单一基于文本的推理空间中，而不会损害模型性能？
• RQ2 在多样化、人工精心筛选的多模态指令数据集上进行指令微调，如何提升模型在标准问答任务之外的推理能力？
• RQ3 大规模开源多模态大语言模型在多任务基准测试中，能在多大程度上实现最先进性能，同时保持安全性和完整性？
• RQ4 哪些关键的架构和训练选择使得无需微调基础LLM即可实现高效、可扩展的多模态对齐？

主要发现

• 与先前模型相比，AnyMAL在VQAv2基准测试中实现了+7.0%的相对准确率提升，证明其具备强大的视觉推理能力。
• 在零样本COCO图像字幕生成任务中，AnyMAL创下新SOTA，CIDEr得分相比现有模型提升+8.4%。
• 在AudioCaps基准测试中，AnyMAL在零样本字幕生成任务中实现+14.5%的CIDEr得分提升，表明其具备强大的音频理解与生成能力。
• 该模型成功支持交错多模态提示（例如图像+IMU+文本），实现对综合感官输入的联合推理。
• 人工评估确认，AnyMAL在多样化多模态任务中生成的响应更具准确性、连贯性，并且上下文相关性更强。
• 推理阶段的安全机制能有效检测并拒绝有害输入和输出，包括可能引发偏见或不安全内容的多模态关联。

Figure 2 : AnyMAL Training. (a) Modality alignment pre-training allows for mapping the output of each modality encoder into the joint LLM embeddings space through projection layers. (b) With multimodal instruction tuning, the model learns to associate system instructions and text queries with input