[论文解读] MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation

Chenxi Wang, Xiang Chen+5 more|arXiv (Cornell University)|Oct 15, 2024

Hallucinations in medical conditionsNeuroscience被引用 3

一句话总结

该论文提出 DeCo，一种无需训练、与模型无关的解码方法，通过动态选择并整合早期层的知识来纠正最终输出的 logits，从而减轻多模态大语言模型（MLLMs）中的幻觉问题。DeCo 在图像字幕生成基准测试中平均将幻觉率降低 10.8%，同时保持低延迟，优于先前的方法如 VCD 和 OPERA。

ABSTRACT

Multimodal Large Language Models (MLLMs) frequently exhibit hallucination phenomena, but the underlying reasons remain poorly understood. In this paper, we present an empirical analysis and find that, although MLLMs incorrectly generate the objects in the final output, they are actually able to recognize visual objects in the preceding layers. We speculate that this may be due to the strong knowledge priors of the language model suppressing the visual information, leading to hallucinations. Motivated by this, we propose a novel dynamic correction decoding method for MLLMs DeCo, which adaptively selects the appropriate preceding layers and proportionally integrates knowledge into the final layer to adjust the output logits. Note that DeCo is model agnostic and can be seamlessly incorporated with various classic decoding strategies and applied to different MLLMs. We evaluate DeCo on widely-used benchmarks, demonstrating that it can reduce hallucination rates by a large margin compared to baselines, highlighting its potential to mitigate hallucinations. Code is available at https://github.com/zjunlp/DeCo.

研究动机与目标

• 探究 MLLMs 在拥有视觉信息的情况下为何仍会生成不存在的物体。
• 理解 MLLMs 真正‘看见’视觉内容，还是在生成过程中被语言模型先验误导。
• 开发一种无需训练、与模型无关的解码方法，以在不需微调或复杂后处理的情况下减少幻觉。
• 在保持响应质量的同时提升幻觉抑制效果，并最小化推理延迟。

提出的方法

• DeCo 发现 MLLMs 的早期层对真实 token 具有更高的置信度，而深层则因语言模型先验而抑制这些 token。
• 它根据 token 置信度动态选择最具信息量的前序层，并将其 logits 整合到最终层的输出中。
• 一种动态软调制机制在保留原始生成风格的同时纠正幻觉输出。
• 该方法兼容标准解码策略，如贪婪搜索、核采样和束搜索。
• DeCo 无需微调，适用于任何 MLLM 架构，并可轻松集成到现有流水线中。
• 该方法利用模型内部激活来纠正最终预测，无需外部工具或额外推理模块。

实验结果

研究问题

• RQ1 MLLMs 即使在后期层产生幻觉时，是否仍能在早期层保持对视觉对象的感知？
• RQ2 语言模型先验在解码过程中在多大程度上抑制了视觉信息，从而导致幻觉？
• RQ3 能否通过动态整合早期层知识来改善幻觉抑制，而无需重新训练？
• RQ4 与现有基于解码和后处理的方法相比，DeCo 在幻觉减少和推理效率方面表现如何？

主要发现

• MLLMs 在早期层中表现出对视觉对象的感知，对真实 token 的置信度更高，但这种识别在深层被语言模型先验所抑制。
• 与强基线相比，DeCo 在图像字幕生成基准测试中平均将幻觉率降低 10.8%。
• 该方法在幻觉抑制方面优于 VCD 和 OPERA，同时仅引入 1.2 倍的延迟增加，显著低于先前方法。
• DeCo 在 VQA 基准测试（如 POPE 和 MME）中表现更优，证明其在多种任务中的广泛有效性。
• 尽管在真实性方面有所提升，DeCo 对详细度指标造成轻微负面影响，表明准确性和描述丰富性之间存在权衡。