[论文解读] Large Multimodal Models: Notes on CVPR 2023 Tutorial

Chunyuan Li|arXiv (Cornell University)|Jun 26, 2023

Multimodal Machine Learning Applications被引用 7

一句话总结

本文总结了CVPR 2023年关于大模型多模态模型（LMMs）的教程，提出了一套构建开源、指令微调LMMs（如LLaVA和MiniGPT-4）的框架，方法包括视觉-语言预训练和指令微调。结果表明，开源LMMs在多模态推理和视觉对话任务中表现强劲，已接近但尚未完全达到OpenAI多模态GPT-4在复杂推理和可扩展性方面的水平。

ABSTRACT

This tutorial note summarizes the presentation on ``Large Multimodal Models: Towards Building and Surpassing Multimodal GPT-4'', a part of CVPR 2023 tutorial on ``Recent Advances in Vision Foundation Models''. The tutorial consists of three parts. We first introduce the background on recent GPT-like large models for vision-and-language modeling to motivate the research in instruction-tuned large multimodal models (LMMs). As a pre-requisite, we describe the basics of instruction-tuning in large language models, which is further extended to the multimodal space. Lastly, we illustrate how to build the minimum prototype of multimodal GPT-4 like models with the open-source resource, and review the recently emerged topics.

研究动机与目标

• 为不熟悉该领域的研究人员和学生提供大模型多模态模型（LMMs）的全面且易于理解的概述。
• 解释指令微调在实现多模态对话能力中的基础性作用，其灵感源自GPT-4的成功。
• 演示如何使用开源组件（如LLaVA和视觉-语言数据集）构建一个最小化的、类似多模态GPT-4的模型原型。
• 综述LMMs的最新进展，包括多模态扩展、上下文学习、参数高效微调以及特定领域应用。
• 评估开源LMMs与专有模型（如OpenAI的多模态GPT-4）的当前状态，识别差距与机遇。

提出的方法

• 将大语言模型（LLMs）中的指令微调技术适配到多模态场景，使模型能够遵循自然语言指令。
• 采用两阶段训练流程：首先通过图像-标题对对齐视觉与文本表征，然后使用GPT-4等大语言模型在指令遵循数据上进行微调。
• 采用视觉编码器（如CLIP或ViT）提取视觉特征，使用冻结的大语言模型（如LLaMA）生成文本，二者通过可学习的投影模块连接。
• 利用自指导方法从标题中生成高质量的指令遵循数据，实现LMMs的高效微调。
• 应用课程学习策略，逐步增加指令数据的复杂度，提升生物医学LMMs在零样本泛化和推理方面的能力。
• 利用开源数据集（如PubMed Central）进行生物医学视觉-语言预训练，并在特定领域数据上微调LLaVA，构建LLaVA-Med。

Figure 1 : Visual chat with LMM. Generated by LLaVA: https://llava-vl.github.io/

实验结果

研究问题

• RQ1 如何有效将指令微调从纯文本大语言模型扩展到多模态模型，以支持视觉推理和对话？
• RQ2 构建一个功能性的、开源的类似多模态GPT-4的模型，其最小架构与训练协议是什么？
• RQ3 开源LMMs在多模态理解与推理能力方面，能在多大程度上匹配专有模型（如OpenAI的GPT-4）？
• RQ4 在数据与计算资源有限的情况下，如何高效训练领域特定的LMMs，同时在专业任务上保持高性能？
• RQ5 在视觉-语言任务之外，LMMs在扩展、评估与部署方面的主要新兴趋势与挑战是什么？

主要发现

• 开源LMMs（如LLaVA和MiniGPT-4）在视觉问答和图像字幕生成任务中可复现GPT-4的多项能力，展现出强大的零样本泛化能力。
• 在生物医学数据上微调的LLaVA-Med版本，能对病理图像相关开放性问题生成准确且基于知识的回答，优于通用领域下的LLaVA。
• 利用GPT-4自指导从标题生成指令遵循数据，可实现高质量、多样化的指令示例，从而高效微调LMMs。
• 尽管已有进展，开源模型在需要高分辨率图像理解与长上下文推理的复杂视觉推理任务中，仍落后于GPT-4。
• 多模态上下文学习、参数高效微调以及多模态基准测试等新兴方向，正加速推动鲁棒、可扩展LMMs的发展。
• 特定领域模型（如PathAsst和PMC-VQA）表明，在生物医学等敏感领域，专用模型比通用模型更具有效性与隐私保护性。

Figure 2 : The focus of this note on large multimodal models, in the context of overall CVPR 2023 Tutorial on Recent Advances in Vision Foundation Models .