[论文解读] Medical Visual Question Answering: A Survey

Zhihong Lin, Donghao Zhang+6 more|arXiv (Cornell University)|Nov 19, 2021

Multimodal Machine Learning Applications参考文献 43被引用 6

一句话总结

本综述全面概述了医学视觉问答（VQA）领域，整合了8个公开数据集和45篇方法论论文。它分析了数据集构建、模型架构以及医学知识融合、答案可解释性、临床工作流程部署等关键挑战，为开发可靠、偏见可控且具有临床适用性的VQA系统奠定了基础。

ABSTRACT

Medical Visual Question Answering~(VQA) is a combination of medical artificial intelligence and popular VQA challenges. Given a medical image and a clinically relevant question in natural language, the medical VQA system is expected to predict a plausible and convincing answer. Although the general-domain VQA has been extensively studied, the medical VQA still needs specific investigation and exploration due to its task features. In the first part of this survey, we collect and discuss the publicly available medical VQA datasets up-to-date about the data source, data quantity, and task feature. In the second part, we review the approaches used in medical VQA tasks. We summarize and discuss their techniques, innovations, and potential improvements. In the last part, we analyze some medical-specific challenges for the field and discuss future research directions. Our goal is to provide comprehensive and helpful information for researchers interested in the medical visual question answering field and encourage them to conduct further research in this field.

研究动机与目标

• 系统性地回顾并整合公开可用的医学VQA数据集及其特征。
• 分析和比较现有的医学VQA方法，包括模型架构、技术与创新点。
• 识别医学VQA中的核心挑战，如偏见、幻觉现象以及临床工作流程的整合问题。
• 提出未来研究方向，聚焦于真实世界部署、可解释性以及医疗领域中的人机协作。

提出的方法

• 对截至2023年的45篇医学VQA论文和8个公开数据集进行全面文献回顾。
• 根据数据来源、数量和任务类型对数据集进行分类，包括ImageCLEF VQA-Med及其他基准数据集集合。
• 基于视觉-语言注意力机制、多模态融合以及外部知识整合，对VQA模型框架进行分类与分析。
• 评估视觉编码器（如ResNet、ViT）、语言编码器（如BERT、大语言模型LLMs）以及交叉注意力模块等技术。
• 评估外部知识库及检索增强生成（RAG）技术的应用，以提升事实一致性并减少幻觉现象。
• 提出一种临床集成框架，强调以用户为中心的设计、不确定性表达以及人机协同验证机制。

实验结果

研究问题

• RQ1 现有公开医学VQA数据集的关键特征与局限性是什么？
• RQ2 当前医学VQA模型如何整合视觉、语言与医学知识以生成准确答案？
• RQ3 哪些关键技术与临床挑战阻碍了医学VQA在真实医疗环境中的部署？
• RQ4 如何使医学VQA系统在临床决策支持中更具鲁棒性、可解释性与可信度？
• RQ5 人机协作在提升诊断准确率与工作流程效率方面发挥何种作用？

主要发现

• 识别出8个主要医学VQA数据集，其数据来源、规模与任务范围各不相同，包括ImageCLEF VQA-Med等挑战任务，以及专门的眼科与放射科数据集集合。
• 当前模型多依赖视觉-语言Transformer与预训练编码器，但性能受限于领域特定知识与细粒度视觉理解能力。
• 用于VQA的大语言模型（LLMs）因缺乏不确定性建模且依赖有偏见的训练数据，存在生成幻觉或错误答案的风险。
• 临床集成仍是主要障碍，研究表明人机协作的表现优于单独使用任一方，尤其对经验较少的临床医生更为显著。
• 答案可解释性与证据验证至关重要但发展不足，目前尚无标准化方法用于验证答案与图像区域或医学事实的一致性。
• 未来系统必须支持开放式、自由形式的问题，并能适应动态临床工作流程，需具备临床医生与AI之间的在线学习与协商能力。