[论文解读] Mitigating Object Hallucination in MLLMs via Data-augmented Phrase-level Alignment

Pritam Sarkar, Sayna Ebrahimi+4 more|arXiv (Cornell University)|May 28, 2024

Functional Brain Connectivity StudiesNeuroscience被引用 3

一句话总结

本文提出 HALVA，一种通过数据增强的对比微调方法，以缓解多模态大语言模型（MLLMs）中的对象幻觉问题。该方法通过数据增强生成幻觉响应，并在标记级别应用对比损失，以降低错误标记的可能性。该方法在不损害通用视觉-语言性能的前提下有效减少幻觉，且仅需极少微调，无推理开销。

ABSTRACT

Despite their significant advancements, Multimodal Large Language Models (MLLMs) often generate factually inaccurate information, referred to as hallucination. In this work, we address object hallucinations in MLLMs, where information is generated about an object not present in the input image. We introduce Data-augmented Phrase-level Alignment (DPA), a novel loss which can be applied to instruction-tuned off-the-shelf MLLMs to mitigate hallucinations, while preserving their general vision-language capabilities. To fine-tune MLLMs with DPA, we first generate a set of `hallucinated' and `correct' response pairs through generative data augmentation by selectively altering the ground-truth information of the correct responses at a phrase level. The DPA loss is then used to train MLLMs to reduce the likelihood of hallucinated phrases compared to the correct ones. Our thorough evaluation on various benchmarks confirms the effectiveness of DPA in mitigating hallucination while retaining the out-of-the-box performance of the MLLMs on general tasks. For instance, MLLMs finetuned with DPA, which we refer to as Hallucination Attenuated Language and Vision Assistant (HALVA), improve F1 by up to 13.4% on hallucination visual question-answering and reduce the hallucination rate by up to 4.2% on image description tasks.

研究动机与目标

• 解决 MLLM 中的对象幻觉问题，即模型生成不存在的对象或属性的描述。
• 开发一种方法，在不增加推理时间或无需从头开始重新训练的情况下缓解幻觉。
• 在缓解幻觉后，保持或提升模型的通用视觉-语言性能。
• 使该方法可应用于现成的 MLLM，而无需大量数据或架构修改。
• 减少对昂贵推理时修正或大规模预训练的依赖。

提出的方法

• 使用生成式数据增强，通过选择性地修改真实标注中的事实属性，生成幻觉响应。
• 在事实标记与幻觉标记之间应用标记级别的对比损失，以提高正确标记的相对可能性。
• 采用 KL 散度约束，并以参考模型（基础 MLLM）为基准，以在微调过程中保持通用能力。
• 将该框架作为轻量级微调过程应用于预训练 MLLM，实现对现成模型的直接部署。
• 在生成式和判别式视觉-语言任务上评估该方法，以衡量其在幻觉缓解和泛化能力方面的表现。
• 训练过程快速高效，计算需求极少，且无需额外的推理基础设施。

实验结果

研究问题

• RQ1 对比微调方法是否能在不损害 MLLM 通用视觉-语言能力的前提下减少其对象幻觉？
• RQ2 通过数据增强生成的幻觉响应在推理时对幻觉检测的改进效果如何？
• RQ3 该方法在微调后是否能保持或提升标准视觉-语言基准上的性能？
• RQ4 该方法是否可应用于现成 MLLM，且计算成本极低、无推理开销？
• RQ5 该方法在多大程度上缓解了由训练数据中对象共现模式引发的幻觉？

主要发现

• HALVA 在生成式和判别式视觉-语言基准上显著减少了对象幻觉，其幻觉缓解效果优于基线方法。
• 该方法在 VQAv2、GQA 和 OK-ViCa 等标准视觉-语言基准上保持或提升了性能，表明其通用能力未受损。
• HALVA 有效减少了 MLLM 因正向指令偏置而倾向于对所有问题回答 'Yes' 的倾向，如定性比较所示。
• 该模型成功缓解了由共现模式引发的幻觉，例如在棒球场景中错误地将 'pitcher' 与 'batter' 和 'umpire' 联想描述。
• 对比微调过程高效，训练时间极短，且无额外推理成本，适合生产环境部署。
• 定性结果表明，HALVA 准确描述了对象的位置和属性，而基础模型 LLaVA-v1.5 在对象不存在的场景中频繁出现 'carrot'、'people' 或 'handbag' 等幻觉对象。