[论文解读] Lyrics: Boosting Fine-grained Language-Vision Alignment and Comprehension via Semantic-aware Visual Objects

Junyu Lu, Dixiang Zhang+7 more|arXiv (Cornell University)|Dec 8, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

Lyrics 提出了一种两阶段视觉-语言预训练与指令微调框架，通过结合图像标记、目标检测和语义分割的视觉提炼器，整合语义感知的视觉对象，以增强细粒度的视觉-语言对齐。通过利用来自局部和全局视觉特征的多尺度查询，Lyrics 在 13 个视觉-语言基准上实现了最先进或具有竞争力的性能，显著减少了在详细图像理解与对话任务中的视觉幻觉和事实性错误。

ABSTRACT

Large Vision Language Models (LVLMs) have demonstrated impressive zero-shot capabilities in various vision-language dialogue scenarios. However, the absence of fine-grained visual object detection hinders the model from understanding the details of images, leading to irreparable visual hallucinations and factual errors. In this paper, we propose Lyrics, a novel multi-modal pre-training and instruction fine-tuning paradigm that bootstraps vision-language alignment from fine-grained cross-modal collaboration. Building on the foundation of BLIP-2, Lyrics infuses local visual features extracted from a visual refiner that includes image tagging, object detection and semantic segmentation modules into the Querying Transformer, while on the text side, the language inputs equip the boundary boxes and tags derived from the visual refiner. We further introduce a two-stage training scheme, in which the pre-training stage bridges the modality gap through explicit and comprehensive vision-language alignment targets. During the instruction fine-tuning stage, we introduce semantic-aware visual feature extraction, a crucial method that enables the model to extract informative features from concrete visual objects. Our approach achieves robust performance on 13 datasets across various vision-language tasks, and demonstrates promising multi-modal understanding, perception and conversation capabilities in 11 scenario-based benchmark toolkits.

研究动机与目标

• 为解决大型视觉-语言模型（LVLMs）因标准图像编码器提供的局部视觉特征不足，而难以捕捉细粒度视觉细节的问题。
• 通过增强文本指令与精确视觉对象表征之间的对齐，减少视觉-语言任务中的视觉幻觉和事实性错误。
• 通过显式、多尺度的视觉定位，提升真实对话场景中多模态理解与生成能力。
• 开发一种通用型 LVLM，有效将语义感知的视觉特征整合到大语言模型中，以支持指令遵循与推理。

提出的方法

• 引入一个视觉提炼器，包含图像标记、目标检测和语义分割模块，以提取局部视觉特征与空间表征。
• 采用多尺度查询变换器（MQ-Former）将图像编码器的全局特征与提炼器提供的局部视觉特征进行压缩与对齐。
• 采用两阶段训练范式：首先进行多任务预训练，通过视觉-语言对齐任务弥合模态差距；其次在 LLM 上使用 LoRA 适配进行指令微调。
• 将视觉提炼器生成的边界框与标签作为结构化输入，引导 MQ-Former 中的注意力机制，提升定位准确性。
• 利用可学习查询向量，将视觉表征提炼到 LLM 中，实现端到端的指令遵循生成。
• 在指令微调阶段应用低秩适应（LoRA），以高效微调 LLM 的同时保留预训练知识。

实验结果

研究问题

• RQ1 整合细粒度视觉对象特征是否能提升视觉-语言对齐效果并减少 LVLM 中的视觉幻觉？
• RQ2 通过多模块视觉提炼器获得的语义感知视觉特征，如何影响在多样化视觉-语言任务上的零样本与少样本性能？
• RQ3 两阶段训练框架（预训练用于对齐，微调用于指令遵循）在多大程度上提升了详细图像理解与推理能力？
• RQ4 当同时使用全局与局部视觉信号时，MQ-Former 架构是否能有效弥合图像编码器与 LLM 之间的模态差距？

主要发现

• Lyrics 在 13 个保留的视觉-语言基准上实现了最先进或具有竞争力的性能，涵盖图像字幕生成、视觉问答与指代表达理解等任务。
• 消融实验表明，若移除空间表征或预训练阶段，性能显著下降，尤其在需要空间推理的任务（如 TextVQA、RefCOCOg）中更为明显。
• 在缺乏细粒度视觉信号的情况下，先前模型如 BLIP-2 和 InstructBLIP 会产生事实性错误与幻觉，而 Lyrics 准确识别出物体数量、颜色、运动状态与空间关系。
• Lyrics 展现出强大的少样本学习能力，在极少上下文示例下仍保持稳定且持续上升的性能趋势，优于参数更大的模型。
• 定性结果表明，Lyrics 能够生成准确、有依据的描述，涉及物体属性与空间关系，例如准确识别出四名处于休息姿势的滑雪者，包括其特定服装与面部特征。
• 该模型有效继承了 LLM 的常识推理与代码执行理解能力，表明符号知识与视觉知识实现了成功融合。