[论文解读] LLaVA-Plus: Learning to Use Tools for Creating Multimodal Agents

Shilong Liu, Hao Cheng+11 more|arXiv (Cornell University)|Nov 9, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

LLaVA-Plus 是一种多模态智能体，通过端到端视觉指令微调学习使用多样化视觉与视觉语言模型技能库，实现针对现实世界任务的动态、上下文相关工具组合。其在 VisIT-Bench 上达到最先进性能，相比 LLaVA 提升超过 100 Elo 分，展现出在目标检测、语义分割和交互式图像编辑方面的涌现能力。

ABSTRACT

LLaVA-Plus is a general-purpose multimodal assistant that expands the capabilities of large multimodal models. It maintains a skill repository of pre-trained vision and vision-language models and can activate relevant tools based on users' inputs to fulfill real-world tasks. LLaVA-Plus is trained on multimodal instruction-following data to acquire the ability to use tools, covering visual understanding, generation, external knowledge retrieval, and compositions. Empirical results show that LLaVA-Plus outperforms LLaVA in existing capabilities and exhibits new ones. It is distinct in that the image query is directly grounded and actively engaged throughout the entire human-AI interaction sessions, significantly improving tool use performance and enabling new scenarios.

研究动机与目标

• 开发一种通用多模态助手，能够动态选择并组合工具以完成现实世界中的视觉语言任务。
• 通过在整个交互过程中保持视觉信号的上下文定位，解决基于提示的工具使用方法的局限性，提升鲁棒性与规划能力。
• 构建一个全新的大规模多模态指令跟随数据集，专门用于视觉语言交互中的工具使用。
• 通过在新工具特定指令数据上微调，实现持续能力扩展，而无需重新训练整个模型。
• 证明端到端训练结合视觉定位可催生多模态推理与工具组合的涌现能力。

提出的方法

• 模型在新收集的多模态指令跟随数据集上进行训练，该数据集包含涉及视觉理解、生成、知识检索及其组合的多样化工具使用示例。
• LLaVA-Plus 维护一个预训练视觉与视觉语言模型（如分割、检测、图像生成等）的技能库，可在推理过程中动态激活。
• 模型在整个交互过程中使用原始视觉输入，实现基于上下文的推理与规划，而非依赖孤立的工具调用。
• 通过视觉指令微调，端到端学习工具选择与组合，使大语言模型能够基于多模态输入生成函数调用及其参数。
• 通过在新数据上进行指令微调，将新技能集成进来，实现在不改变模型架构的前提下持续扩展智能体能力。
• 该框架支持交互式多轮对话，视觉上下文得以保留并用于工具规划与执行。

Figure 1: Visual illustration of LLaVA-Plus’ capabilities enabled by learning to use skills.

实验结果

研究问题

• RQ1 端到端视觉指令微调是否能使大型多模态模型有效学习组合多个工具以应对复杂现实世界任务？
• RQ2 在整个交互会话中保持视觉定位是否显著提升工具使用准确率与推理能力，相比基于提示的方法？
• RQ3 多模态智能体是否仅通过指令微调即可学习使用新工具，而无需重新训练基础模型？
• RQ4 在现实世界、基于指令的基准测试中，增强工具的多模态智能体性能与最先进模型相比如何？
• RQ5 在具有上下文定位的交互环境中，多样化视觉与视觉语言工具的组合会催生哪些涌现能力？

主要发现

• LLaVA-Plus 在 VisIT-Bench 排行榜上达到新的最先进性能，Elo 评分为 1037，相比 LLaVA 提升超过 100 分。
• 该模型在定位任务中表现更优，例如在动态场景中正确识别飞盘的坐标，而其他模型则失败。
• LLaVA-Plus 能够成功组合多个工具完成复杂任务，例如根据视觉输入和用户指令生成具有特定语义布局（如“水下场景”）的新图像。
• 该模型通过结合视觉分析与条件图像生成及字幕生成，实现交互式图像编辑与社交媒体内容创作，保持季节性场景变化下的语义一致性。
• 实证结果表明，在整个交互过程中保持视觉信号定位可提升工具使用性能，并实现提示方法智能体无法实现的新能力。
• 该模型在多模态规划与工具组合方面展现出涌现能力，例如基于检测到的场景元素生成图像生成的合适函数参数。

Figure 2: The four-step LLaVA-Plus pipeline.