[论文解读] LLaVA-Interactive: An All-in-One Demo for Image Chat, Segmentation, Generation and Editing

Wei-Ge Chen, Irina Spiridonova+3 more|arXiv (Cornell University)|Nov 1, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

LLaVA-Interactive 是一个开源、低成本的多模态人工智能系统，通过视觉提示实现丰富的多模态人机交互，结合预训练模型实现图像对话、分割和图像生成/编辑，无需额外微调。它支持多轮对话，结合自然语言与视觉输入（如涂鸦、拖拽、边界框），相比纯文本模型显著提升了意图理解与交互参与度。

ABSTRACT

LLaVA-Interactive is a research prototype for multimodal human-AI interaction. The system can have multi-turn dialogues with human users by taking multimodal user inputs and generating multimodal responses. Importantly, LLaVA-Interactive goes beyond language prompt, where visual prompt is enabled to align human intents in the interaction. The development of LLaVA-Interactive is extremely cost-efficient as the system combines three multimodal skills of pre-built AI models without additional model training: visual chat of LLaVA, image segmentation from SEEM, as well as image generation and editing from GLIGEN. A diverse set of application scenarios is presented to demonstrate the promises of LLaVA-Interactive and to inspire future research in multimodal interactive systems.

研究动机与目标

• 开发一种低成本、开源的多模态AI系统，支持超越纯文本输入的丰富、交互式人机对话。
• 支持视觉提示（如绘图、拖拽、边界框）以在图像编辑、分割和生成任务中表达复杂用户意图。
• 整合三个预训练多模态模型——LLaVA 用于视觉对话，SEEM 用于分割，GLIGEN 用于图像生成/编辑——无需额外训练。
• 证明统一、交互式多模态智能体在真实场景中连接视觉与语言任务的可行性。
• 通过一个灵活、可扩展且公开可用的框架，激发未来通用多模态AI智能体的研究。

提出的方法

• 系统结合三个预训练模型的推理：LLaVA 用于多模态理解与对话，SEEM 用于实例分割，GLIGEN 用于图像生成与编辑。
• 使用涂鸦、拖拽、边界框等视觉提示在图像上直接指定用户意图，实现对分割与编辑任务的精确控制。
• 界面分为三个面板：用于绘图与对象选择的视觉交互面板，用于自然语言交互的聊天面板，用于显示输出的结果面板。
• 用户操作通过定位指令与视觉线索进行解释，并实时映射到相应模型API。
• 系统以多轮对话流程处理用户输入，保持交互上下文并动态更新输出。
• 无需模型微调或提示工程；所有功能通过编排现有预训练模型实现。

Figure 1 : The user interface of LLaVA-Interactive. (a) The overall user interface layout with three main panels, among which the visual interaction panel consists of three tabs based on their functionalities. They are shown in magenta rounded rectangles, and detailed in (b,c,d), whose image output

实验结果

研究问题

• RQ1 多模态AI系统能否有效理解并响应涂鸦、边界框等视觉提示，以支持复杂的图像编辑任务？
• RQ2 与纯文本提示相比，视觉提示在多模态对话系统中如何提升用户意图理解与交互参与度？
• RQ3 在不进行额外训练的情况下，结合预训练模型的系统在多模态交互能力方面能达到何种程度？
• RQ4 在哪些实际应用场景中，视觉提示能显著提升多模态AI智能体的可用性？
• RQ5 此类系统能否作为 GPT-4V 等专有模型的可行、开源替代方案，用于构建交互式多模态智能体？

主要发现

• LLaVA-Interactive 成功实现了结合自然语言与视觉输入的多轮多模态对话，显著提升了用户意图理解能力。
• 视觉提示（如在对象上绘图、拖拽分割区域）相比纯文本命令，在分割与编辑任务中显著提升了精度与表达力。
• 通过编排三个预训练模型，系统在无需任何微调或额外训练的情况下，实现了完整的功能——图像对话、分割、生成与编辑。
• 在室内设计与异常物体检测的案例研究中，系统能够理解复杂用户请求，并生成上下文恰当、视觉准确的输出。
• 该系统展现出作为构建未来多模态AI智能体的灵活、可扩展框架的强大潜力，尤其在创意与交互领域。
• 开源发布代码库与演示版本，推动社区驱动的创新，促进交互式多模态系统的进一步发展。

Figure 2 : The workflow of LLaVA-Interactive.