[论文解读] Hallucination Augmented Contrastive Learning for Multimodal Large Language Model

Chaoya Jiang, Haiyang Xu+8 more|arXiv (Cornell University)|Dec 12, 2023

Brain Tumor Detection and Classification被引用 6

一句话总结

本文提出了一种名为幻觉增强对比学习（Hallucination Augmented Contrastive Learning, HACL）的方法，通过在对比学习中使用幻觉性字幕作为难负样本，减少多模态大语言模型（MLLMs）中的幻觉现象。通过将视觉表征与非幻觉性文本对齐，并将其与幻觉性文本表征分离，HACL在MMhal-Bench基准上将幻觉率降低了34.66%，相较于MiniGPT-4，并在多个基准测试中提升了性能。

ABSTRACT

Multi-modal large language models (MLLMs) have been shown to efficiently integrate natural language with visual information to handle multi-modal tasks. However, MLLMs still face a fundamental limitation of hallucinations, where they tend to generate erroneous or fabricated information. In this paper, we address hallucinations in MLLMs from a novel perspective of representation learning. We first analyzed the representation distribution of textual and visual tokens in MLLM, revealing two important findings: 1) there is a significant gap between textual and visual representations, indicating unsatisfactory cross-modal representation alignment; 2) representations of texts that contain and do not contain hallucinations are entangled, making it challenging to distinguish them. These two observations inspire us with a simple yet effective method to mitigate hallucinations. Specifically, we introduce contrastive learning into MLLMs and use text with hallucination as hard negative examples, naturally bringing representations of non-hallucinative text and visual samples closer while pushing way representations of non-hallucinating and hallucinative text. We evaluate our method quantitatively and qualitatively, showing its effectiveness in reducing hallucination occurrences and improving performance across multiple benchmarks. On the MMhal-Bench benchmark, our method obtains a 34.66% /29.5% improvement over the baseline MiniGPT-4/LLaVA. Our code is available on https://github.com/X-PLUG/mPLUG-HalOwl/tree/main/hacl.

研究动机与目标

• 为解决多模态大语言模型（MLLMs）中持续存在的幻觉问题，即模型生成事实错误或虚构的视觉描述。
• 通过分析大语言模型（LLM）表征空间中文本与视觉表征的分布，探究幻觉现象的根本原因。
• 改善视觉与文本模态之间的跨模态表征对齐，以增强幻觉检测与缓解能力。
• 开发一种对比学习框架，利用幻觉性字幕作为难负样本，以优化模型表征。
• 在包括MMhal-Bench和MME在内的多个多模态基准上验证所提方法的有效性。

提出的方法

• 该方法在大语言模型（LLM）的视觉标记序列投影与文本标记序列之间引入对比学习。
• 使用GPT-4生成幻觉性字幕，并在训练过程中将其作为与真实字幕对比的难负样本。
• 应用对比损失，使非幻觉性文本与视觉输入的表征更接近，同时使非幻觉性与幻觉性文本的表征相互远离。
• 通过该对比目标微调视觉编码器与LLM之间的学习接口，以改善跨模态对齐。
• 该方法应用于预训练阶段，并通过消融实验评估幻觉性字幕使用方式及训练范式选择的影响。
• 使用t-SNE对表征空间进行可视化，证实HACL减少了模态间差距，并将幻觉性与非幻觉性文本表征有效分离。

实验结果

研究问题

• RQ1 MLLM中幻觉率较高的根本原因是什么？幻觉性与非幻觉性文本的表征分布如何导致这一现象？
• RQ2 视觉与文本表征之间的跨模态语义差距在多大程度上阻碍了MLLM中的幻觉检测？
• RQ3 在对比学习中使用幻觉性字幕作为难负样本，能否有效提升表征对齐并减少幻觉？
• RQ4 在预训练过程中，冻结或激活LLM或视觉编码器的训练范式如何影响HACL方法的性能与稳定性？
• RQ5 HACL是否不仅能减少幻觉，还能提升标准基准测试中的通用多模态推理性能？

主要发现

• 与MiniGPT-4基线相比，HACL在MMhal-Bench基准上将幻觉率降低了34.66%。
• 在MME基准上，HACL相较于基线模型LLaVA性能提升了11%。
• t-SNE表征空间可视化显示，HACL显著减少了视觉与文本表征之间的模态差距。
• 应用HACL后，幻觉性字幕的表征与真实字幕表征的可区分性明显增强，表明实现了更优的表征解耦。
• 在对比学习中引入幻觉性字幕可带来显著性能提升，而若缺失此类样本则仅实现中等程度的性能改善。
• 在首次预训练阶段激活LLM会导致灾难性遗忘与性能下降，而激活视觉编码器则能提升对齐效果与整体性能。