[论文解读] Detecting and Preventing Hallucinations in Large Vision Language Models

Anisha Gunjal, Jihan Yin+1 more|arXiv (Cornell University)|Aug 11, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了 M-HalDetect，一个用于视觉问答任务的细粒度多模态幻觉检测数据集，包含 16,000 个子句级标注。该研究提出了一种细粒度直接偏好优化（FDPO）方法以及基于最佳 n 个采样的奖励建模方法，分别将 InstructBLIP 中的幻觉率降低了 41% 和 55%，并在 LLaVA 和 mPLUG-OWL 上分别实现了 15% 和 57% 的降低，展现出良好的泛化能力。

ABSTRACT

Instruction tuned Large Vision Language Models (LVLMs) have significantly advanced in generalizing across a diverse set of multi-modal tasks, especially for Visual Question Answering (VQA). However, generating detailed responses that are visually grounded is still a challenging task for these models. We find that even the current state-of-the-art LVLMs (InstructBLIP) still contain a staggering 30 percent of the hallucinatory text in the form of non-existent objects, unfaithful descriptions, and inaccurate relationships. To address this, we introduce M-HalDetect, a (M)ultimodal (Hal)lucination (Detect)ion Dataset that can be used to train and benchmark models for hallucination detection and prevention. M-HalDetect consists of 16k fine-grained annotations on VQA examples, making it the first comprehensive multi-modal hallucination detection dataset for detailed image descriptions. Unlike previous work that only consider object hallucination, we additionally annotate both entity descriptions and relationships that are unfaithful. To demonstrate the potential of this dataset for hallucination prevention, we optimize InstructBLIP through our novel Fine-grained Direct Preference Optimization (FDPO). We also train fine-grained multi-modal reward models from InstructBLIP and evaluate their effectiveness with best-of-n rejection sampling. We perform human evaluation on both FDPO and rejection sampling, and find that they reduce hallucination rates in InstructBLIP by 41% and 55% respectively. We also find that our reward model generalizes to other multi-modal models, reducing hallucinations in LLaVA and mPLUG-OWL by 15% and 57% respectively, and has strong correlation with human evaluated accuracy scores.

研究动机与目标

• 为解决指令微调的大规模视觉语言模型（LVLM）中持续存在的幻觉问题，特别是图像详细描述中的幻觉问题。
• 构建一个全面且细粒度的数据集，用于标注超越对象级错误的幻觉，包括不忠实的描述和关系错误。
• 开发并评估基于新数据集的减少 LVLM 幻觉的方法——FDPO 和奖励建模。
• 展示奖励模型在多个 LVLM（包括 LLaVA 和 mPLUG-OWL）上的泛化能力。
• 建立自动化奖励模型得分与人工标注的幻觉准确率之间的强相关性。

提出的方法

• 构建 M-HalDetect 数据集，包含来自 InstructBLIP 的 VQA 回答中 16,000 个细粒度标注，将子句分类为准确（Accurate）、不准确（Inaccurate）或分析性（Analysis）。
• 提出细粒度直接偏好优化（FDPO），一种 DPO 的变体，使用每个子句的标注而非成对偏好比较。
• 利用 M-HalDetect 在句子和子句级别训练多模态奖励模型，以评估幻觉发生的可能性。
• 使用训练好的奖励模型结合最佳 n 个采样策略，从 InstructBLIP 中选择更准确的生成结果。
• 通过人工评估验证 FDPO 和拒绝采样方法，并在多个 LVLM（包括 InstructBLIP、LLaVA 和 mPLUG-OWL）上比较性能。
• 测量奖励模型得分与人工标注的幻觉准确率之间的相关性，以验证模型作为自动化评估器的可靠性。

Figure 1: Example Annotation from the M-HalDetect Dataset. The sub-sentences of text generated by multi-modal LM are tagged into categories: Accurate, Inaccurate , and Analysis .

实验结果

研究问题

• RQ1 细粒度的、基于子句级别的幻觉检测数据集能否提升 LVLM 中幻觉的检测与缓解效果？
• RQ2 在使用详细标注时，细粒度直接偏好优化（FDPO）是否优于标准 DPO 以减少幻觉？
• RQ3 在 InstructBLIP 之外的其他 LVLM 中，基于 M-HalDetect 训练的奖励模型能在多大程度上减少幻觉？
• RQ4 自动化奖励模型得分与人工标注的幻觉准确率之间的相关性如何？
• RQ5 使用奖励模型进行拒绝采样是否能在不同架构的 LVLM 上有效泛化并显著降低幻觉率？

主要发现

• 与基线相比，FDPO 在 InstructBLIP 中将幻觉率降低了 41%，即使在高温度采样条件下依然有效。
• 使用最佳 64 个采样的拒绝采样方法，使 InstructBLIP 中的幻觉率降低了 55%。
• 相同的奖励模型在 LLaVA 中通过最佳 16 个采样将幻觉率降低了 15%，在 mPLUG-OWL 中降低了 57%。
• 奖励模型得分与人工标注的准确率之间表现出强相关性，表明其作为自动化评估器的有效性。
• FDPO 优于原始 InstructBLIP 的高温度采样，表明细粒度监督能提升生成结果的忠实度。
• 奖励模型在不同 LVLM 上表现出良好的泛化能力，证明其具有超越训练模型本身的可迁移性。

Figure 3: Confusion Matrix comparison between Binary and Ternary Classifiers. The right plot represents the binary classifier labels derived from the ternary classifier by merging the Accurate and Analysis classes.