[论文解读] MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models

Peng Xia, Kangyu Zhu+7 more|arXiv (Cornell University)|Oct 16, 2024

Multimodal Machine Learning Applications被引用 4

一句话总结

MMed-RAG 是一种多功能多模态检索增强生成系统，通过领域感知检索、自适应上下文选择和基于 RAG 的偏好微调，提升了医学视觉-语言模型的事实准确性。该方法在涵盖放射科、眼科和病理科的五个医学数据集上，实现了平均 43.8% 的事实准确性提升。

ABSTRACT

Artificial Intelligence (AI) has demonstrated significant potential in healthcare, particularly in disease diagnosis and treatment planning. Recent progress in Medical Large Vision-Language Models (Med-LVLMs) has opened up new possibilities for interactive diagnostic tools. However, these models often suffer from factual hallucination, which can lead to incorrect diagnoses. Fine-tuning and retrieval-augmented generation (RAG) have emerged as methods to address these issues. However, the amount of high-quality data and distribution shifts between training data and deployment data limit the application of fine-tuning methods. Although RAG is lightweight and effective, existing RAG-based approaches are not sufficiently general to different medical domains and can potentially cause misalignment issues, both between modalities and between the model and the ground truth. In this paper, we propose a versatile multimodal RAG system, MMed-RAG, designed to enhance the factuality of Med-LVLMs. Our approach introduces a domain-aware retrieval mechanism, an adaptive retrieved contexts selection method, and a provable RAG-based preference fine-tuning strategy. These innovations make the RAG process sufficiently general and reliable, significantly improving alignment when introducing retrieved contexts. Experimental results across five medical datasets (involving radiology, ophthalmology, pathology) on medical VQA and report generation demonstrate that MMed-RAG can achieve an average improvement of 43.8% in the factual accuracy of Med-LVLMs. Our data and code are available in https://github.com/richard-peng-xia/MMed-RAG.

研究动机与目标

• 解决医学大视觉-语言模型（Med-LVLMs）中的事实幻觉问题，这是临床部署的关键障碍。
• 克服微调方法的局限性，如数据稀缺性以及训练数据与真实世界数据之间的分布差异。
• 提升检索增强生成（RAG）在放射科、眼科和病理科等多样化医学领域中的泛化能力和可靠性。
• 缓解因 RAG 干扰导致的跨模态错位（例如忽略视觉输入）以及与真实标签的整体错位。
• 开发一种稳健且可迁移的 RAG 框架，在无需大量重训练或领域特定适配的情况下提升对齐性。

提出的方法

• 引入一种领域感知检索机制，利用领域识别模块根据输入图像模态动态选择合适的检索模型。
• 实施一种自适应校准方法，以确定最优的检索上下文数量，平衡事实相关性与模型连贯性。
• 设计一种基于 RAG 的偏好微调策略，利用偏好对进行优化，以提升跨模态对齐性并减少对检索文本的过度依赖。
• 训练模型在检索文本包含正确信息时仍优先关注视觉输入，并抑制无关或错误的检索内容。
• 在温和假设下进行理论分析，表明 MMed-RAG 可降低与真实标签之间的跨模态错位和整体错位。
• 利用检索增强生成结合偏好优化，使模型输出与视觉输入和事实参考保持对齐。

实验结果

研究问题

• RQ1 多模态 RAG 系统是否能在多样化医学影像领域中有效减少 Med-LVLM 中的事实幻觉？
• RQ2 领域感知检索在多医学视觉-语言任务中如何提升 RAG 的泛化能力和可靠性？
• RQ3 自适应上下文选择和偏好微调在多大程度上能缓解视觉输入、检索知识与模型输出之间的错位？
• RQ4 基于 RAG 的偏好微调是否能减少对检索上下文的过度依赖，同时保持事实准确性？
• RQ5 所提出的系统是否能在无需任务特定微调的情况下，在多种医学模态中保持高事实准确性？

主要发现

• MMed-RAG 在五个医学多模态数据集（包括放射科、眼科和病理科）上实现了平均 43.8% 的事实准确性提升。
• 在医学视觉问答（VQA）任务中，MMed-RAG 相较于基础 Med-LVLM 的事实准确性提升了 18.5%，表明其在开放式推理任务中表现强劲。
• 在报告生成任务中，事实准确性提升达 69.1%，表明其在长文本、上下文敏感的医学文本生成中具有卓越效果。
• 复制-参考率（CR）——即模型直接复制检索文本的比例——从 43.31% 下降至 28.19%，表明机械复制行为显著减少。
• 过度依赖率（OR）——即模型错误地遵循检索内容的比例——从 43.31% 下降至 8.38%，表明来自无关或错误检索的干扰显著降低。
• 注意力可视化结果证实，MMed-RAG 增强了模型对视觉输入的关注，减少了对检索文本的过度集中，从而改善了跨模态对齐。