[论文解读] LISA++: An Improved Baseline for Reasoning Segmentation with Large Language Model

Senqiao Yang, Tianyuan Qu+5 more|arXiv (Cornell University)|Dec 28, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

LISA++ 通过在不改变架构的前提下引入实例分割和自然、分段的对话能力，增强了 LISA 模型，利用 COCO 和 ADE20K 的精选数据集，提升了推理分割和对话灵活性。其在多轮对话和实例级理解方面表现出色，证明了掩码作为嵌入范式在可扩展性方面的优势。

ABSTRACT

While LISA effectively bridges the gap between segmentation and large language models to enable reasoning segmentation, it poses certain limitations: unable to distinguish different instances of the target region, and constrained by the pre-defined textual response formats. In this work, we introduce LISA++, an update to the existing LISA model, focusing on improving core functionalities while keeping the base architecture intact. The main enhancements in LISA++ include: extbf{1) Enhanced Segmentation}: The instance segmentation ability has been added, providing a more detailed scene analysis along with the existing multi-region semantic segmentation. extbf{2) More Natural Conversation}: Improved capability for multi-turn dialogue, with the ability to incorporate segmentation results directly into text responses, i.e., Segmentation in Dialogue (SiD). These improvements are achieved by curating the existing samples of generic segmentation datasets, aimed specifically at enhancing the segmentation and conversational skills without structural change and additional data sources. Comparative analysis with the original LISA model shows significant advancements in these areas, positioning LISA++ as a notable upgrade in visual understanding and interaction. LISA++'s adaptability and improved features highlight the versatility of the mask-as-embedding paradigm proposed by LISA, and the potential as a foundational model for diverse applications.

研究动机与目标

• 解决 LISA 在区分同类别实例和响应格式僵化方面的局限性。
• 实现更自然、灵活且上下文感知的多模态对话，结合分割输出。
• 将掩码作为嵌入范式扩展至支持实例分割和对话集成响应。
• 构建一个全面的基准，用于评估推理实例分割和对话分割（SiD）。
• 在保持架构简洁的同时，显著提升推理与交互能力。

提出的方法

• 从 COCO 和 ADE20K 重构指令微调数据，加入实例级查询与响应。
• 设计提示词，生成多轮对话，其中分割结果以自然语言响应形式嵌入（SiD）。
• 创建新基准 ReasonSeg-Inst，用于评估多目标实例分割的推理能力。
• 设计问答对，避免直接引用标注内容，聚焦于对象属性与关系。
• 使用与 LISA 相同的基础架构，保留掩码作为嵌入机制，同时增强细粒度推理能力。
• 生成明确引用实例 ID 和标签名称的响应（例如，'keyboards <34494; keyboard><31264; keyboard>'），以实现精确的分割定位。

实验结果

研究问题

• RQ1 掩码作为嵌入范式是否可在不修改架构的前提下支持实例分割？
• RQ2 如何自然地将分割结果整合到多轮对话中，以提升对话的流畅性与准确性？
• RQ3 在精选的分割数据上进行指令微调，能在多大程度上提升大语言模型在推理与实例级理解方面的能力？
• RQ4 统一框架是否能够同时支持语义分割与实例分割，并提供一致且灵活的对话输出？
• RQ5 在多样化的视觉推理任务中，LISA++ 与 LISA 相比，在对话自然度和分割精度方面表现如何？

主要发现

• LISA++ 在不修改其基础架构的前提下，成功为 LISA 增加了实例分割能力。
• 该模型在对话中表现出更强的区分与指代同一类别多个实例的能力，例如不同的人物或物体。
• 对话分割（SiD）通过将分割结果直接嵌入响应，实现了更自然、上下文感知且灵活的对话。
• 更新后的 ReasonSeg-Inst 基准支持对多目标推理分割的全面评估，突破了单一目标评估的局限。
• 与原始 LISA 模型相比，LISA++ 在分割准确率和对话流畅性方面均实现了显著提升。
• 掩码作为嵌入范式在复杂视觉推理任务中展现出良好的可扩展性与有效性，为未来基础多模态模型的发展提供了支持。