[论文解读] LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day

Chunyuan Li, Cliff Wong+7 more|arXiv (Cornell University)|Jun 1, 2023

Multimodal Machine Learning Applications被引用 222

一句话总结

LLaVA-Med 将通用域的视觉语言模型适应生物医学领域，采用两阶段课程：生物医学概念对齐，随后使用 GPT-4 生成数据进行指令微调，从而在 15 小时内实现开放式生物医学视觉对话

ABSTRACT

Conversational generative AI has demonstrated remarkable promise for empowering biomedical practitioners, but current investigations focus on unimodal text. Multimodal conversational AI has seen rapid progress by leveraging billions of image-text pairs from the public web, but such general-domain vision-language models still lack sophistication in understanding and conversing about biomedical images. In this paper, we propose a cost-efficient approach for training a vision-language conversational assistant that can answer open-ended research questions of biomedical images. The key idea is to leverage a large-scale, broad-coverage biomedical figure-caption dataset extracted from PubMed Central, use GPT-4 to self-instruct open-ended instruction-following data from the captions, and then fine-tune a large general-domain vision-language model using a novel curriculum learning method. Specifically, the model first learns to align biomedical vocabulary using the figure-caption pairs as is, then learns to master open-ended conversational semantics using GPT-4 generated instruction-following data, broadly mimicking how a layperson gradually acquires biomedical knowledge. This enables us to train a Large Language and Vision Assistant for BioMedicine (LLaVA-Med) in less than 15 hours (with eight A100s). LLaVA-Med exhibits excellent multimodal conversational capability and can follow open-ended instruction to assist with inquiries about a biomedical image. On three standard biomedical visual question answering datasets, LLaVA-Med outperforms previous supervised state-of-the-art on certain metrics. To facilitate biomedical multimodal research, we will release our instruction-following data and the LLaVA-Med model.

研究动机与目标

• 激发构建能够超越固定问答的开放式生物医学多模态对话代理
• 利用大规模生物医学图像-文本数据（PMC-15M）创建多样的遵循指令数据，无需人工标注
• 发展两阶段课程以高效将通用域 VL 模型适配到生物医学领域
• 验证领域特定的指令微调能带来更好的开放式对话和具有竞争力的 VQA 性能
• 提供开源资源（遵循指令的数据和代码）以促进生物医学多模态研究

提出的方法

• 通过抽样 PMC-15M 图文对并使用 GPT-4 从字幕生成多样指令，构建生物医学多模态指令遵循数据集
• 应用两阶段课程：阶段1 通过对线性投影进行微调并保持权重冻结来对齐生物医学词汇的特征
• 阶段2 端到端指令微调，在冻结视觉编码器的情况下，训练投影和语言模型以利用 GPT-4 生成的指令遵循数据
• 在三个生物医学 VQA 数据集上微调模型以提升下游任务表现
• 通过开放式对话和 VQA 基准进行评估，并与 LLaVA 及 SOTA 方法进行比较

实验结果

研究问题

• RQ1 常规域的多模态模型能否有效适应生物医学图像以进行开放式对话？
• RQ2 GPT-4 生成的遵循指令数据是否能提升生物医学多模态聊天能力？
• RQ3 课程阶段与数据规模对生物医学 VQA 的零样本和微调性能有何影响？
• RQ4 相较于监督的 SoTA，LLaVA-Med 在标准生物医学 VQA 数据集上的表现如何？
• RQ5 该方法是否具备成本效益和对其他垂直领域的普适性？

主要发现

• 两阶段训练，包含 60K 指令样本（60K-IM）及内联提及，在他们的消融中表现最佳
• 经过微调后，LLaVA-Med 在多个生物医学 VQA 基准上优于通用域的 LLaVA
• 仅阶段1 即提升生物医学词汇对齐，但不足以实现鲁棒的指令遵循
• 与 GPT-4 参考相比，在最佳设置下，LLaVA-Med 在评估设置中的表现约达到 GPT-4 的一半
• 训练时间较短：阶段1约7小时，阶段2约8小时，使用八张 A100 GPU
• 将开放源代码的指令遵循数据和代码发布，促进研究