[论文解读] MedVH: Towards Systematic Evaluation of Hallucination for Large Vision Language Models in the Medical Context

Zishan Gu, Changchang Yin+2 more|arXiv (Cornell University)|Jul 3, 2024

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出了 MedVH，一个用于评估医学大视觉语言模型（LVLMs）幻觉现象的新基准，涵盖五个聚焦于视觉问答、报告生成及错误自信原因说明的任务。尽管在标准医学任务上表现优异，医学LVLMs的幻觉率仍高于通用模型，凸显了其在临床应用中的关键可靠性问题。

ABSTRACT

Large Vision Language Models (LVLMs) have recently achieved superior performance in various tasks on natural image and text data, which inspires a large amount of studies for LVLMs fine-tuning and training. Despite their advancements, there has been scant research on the robustness of these models against hallucination when fine-tuned on smaller datasets. In this study, we introduce a new benchmark dataset, the Medical Visual Hallucination Test (MedVH), to evaluate the hallucination of domain-specific LVLMs. MedVH comprises five tasks to evaluate hallucinations in LVLMs within the medical context, which includes tasks for comprehensive understanding of textual and visual input, as well as long textual response generation. Our extensive experiments with both general and medical LVLMs reveal that, although medical LVLMs demonstrate promising performance on standard medical tasks, they are particularly susceptible to hallucinations, often more so than the general models, raising significant concerns about the reliability of these domain-specific models. For medical LVLMs to be truly valuable in real-world applications, they must not only accurately integrate medical knowledge but also maintain robust reasoning abilities to prevent hallucination. Our work paves the way for future evaluations of these studies.

研究动机与目标

• 为解决在医学背景下对领域特定 LVLM 中幻觉现象缺乏系统性评估的问题。
• 开发一个基准，用于测试在多样化医学视觉与文本输入下模型对幻觉的敏感度。
• 比较通用模型与医学微调后的 LVLM 在幻觉率上的差异，特别是其在小规模数据集上微调后的影响。
• 探究提示词措辞与设计如何影响模型对幻觉响应的鲁棒性。
• 推动开发更可靠、抗幻觉的医学 LVLM，以实现真实临床环境中的部署。

提出的方法

• 通过整合多个公开数据集（包括 RAD-VQA、SLAKE、PMC-VQA、Path-VQA、VQA-Med-2021 和 MIMIC-Diff-VQA）构建 MedVH，用于多选题视觉问答任务。
• 在长文本医学报告生成任务中引入真实的 MIMIC-CXR 报告，以评估长输出中的幻觉现象。
• 设计两项专门任务：'错误图像'与'临床上错误的问题'，以测试模型对误导性视觉与文本输入的抵抗能力。
• 评估了多种 LVLM 模型，包括通用模型（如 GPT-4V、LLaVA）、医学专用模型（如 LLaVA-Med、Med-Flamingo）以及 CXR 微调模型（如 CheXAgent、LLM-CXR）。
• 对提示词措辞进行消融研究，将 '以上都不是' 替换为理想否定选项，以评估对措辞变化的敏感性。
• 在提示中加入提示性信息，以测试引导模型表达不确定性是否能提升其对幻觉的抵抗能力。

Figure 1: Overall evaluation framework.

实验结果

研究问题

• RQ1 与通用 LVLM 相比，医学 LVLM 在幻觉检测任务上的表现如何？
• RQ2 提示词措辞在多大程度上影响医学 LVLM 的幻觉敏感度？
• RQ3 通过战略性提示设计（如提示潜在错误）能否提升模型的鲁棒性？
• RQ4 长文本输出生成在多大程度上会放大医学 LVLM 的幻觉风险？
• RQ5 在小规模医学数据集上进行微调对 LVLM 幻觉率有何影响？

主要发现

• 尽管在标准医学基准上表现更优，医学 LVLM 的幻觉率显著高于通用 LVLM。
• 当提示使用 '以上都不是' 而非理想否定选项时，ChatGPT-4V 的准确率下降，表明其对提示措辞敏感。
• LLaVA 显示出强烈倾向选择 '以上都不是'，表明其在处理模糊或错误选项时存在偏差。
• CheXAgent 在错误选项表述更简洁时表现更优，表明其在复杂否定条件下推理能力有限。
• 在提示中加入提示性信息可显著提升大多数模型的幻觉抵抗能力，除 MiniGPT 外，表明提示工程对提升鲁棒性具有重要价值。
• 该基准揭示，即使在任务准确率较高时，医学 LVLM 仍因对错误或误导性输入的过度自信而易受幻觉影响。

Figure 2: Detailed illustration of evaluation tasks in MedVH.