[论文解读] A Survey on Deep Learning and Explainability for Automatic Image-based Medical Report Generation

Pablo Messina, Pablo Pino+8 more|arXiv (Cornell University)|Oct 20, 2020

Multimodal Machine Learning Applications参考文献 151被引用 7

一句话总结

本综述回顾了用于自动医学影像报告生成的深度学习方法，重点关注数据集、架构设计、可解释性及评估指标。研究指出，当前评估严重依赖自然语言处理（NLP）指标，无法有效评估医学正确性，凸显了该领域验证实践中的关键空白。

ABSTRACT

Every year physicians face an increasing demand of image-based diagnosis from patients, a problem that can be addressed with recent artificial intelligence methods. In this context, we survey works in the area of automatic report generation from medical images, with emphasis on methods using deep neural networks, with respect to: (1) Datasets, (2) Architecture Design, (3) Explainability and (4) Evaluation Metrics. Our survey identifies interesting developments, but also remaining challenges. Among them, the current evaluation of generated reports is especially weak, since it mostly relies on traditional Natural Language Processing (NLP) metrics, which do not accurately capture medical correctness.

研究动机与目标

• 系统性回顾基于深度神经网络的放射科影像报告自动生成方法。
• 分析医学报告生成研究中所用数据集的现状。
• 考察用于多模态图像-文本学习的深度神经网络架构设计。
• 评估可解释性技术在医学报告生成模型中的集成情况。
• 识别现有评估指标的局限性，特别是其无法确保医学准确性的缺陷。

提出的方法

• 本综述对近期基于深度神经网络的自动医学报告生成研究进行了全面分析。
• 对领域内使用的数据集进行分类与评估，分析其规模、模态类型及临床相关性。
• 研究编码器-解码器架构、注意力机制以及视觉-语言Transformer作为报告生成模型的核心组件。
• 回顾模型可解释性方法，包括注意力可视化与显著性图，以解释预测结果。
• 批判性评估BLEU、ROUGE和CIDEr等标准NLP指标，指出其在衡量临床正确性方面的不足。
• 综合各研究的发现，识别该领域中的趋势、挑战与开放性问题。

实验结果

研究问题

• RQ1 自动医学报告生成中使用的关键数据集有哪些？它们如何支持模型训练与评估？
• RQ2 深度神经网络架构在多模态视觉与文本信息融合方面，如何实现准确报告的生成？
• RQ3 当前模型在多大程度上提供可解释的输出？采用了哪些技术来增强可解释性？
• RQ4 为何传统NLP指标不足以评估医学报告质量？
• RQ5 在模型评估与临床部署方面，当前最紧迫的挑战是什么？

主要发现

• 当前对生成医学报告的评估主要依赖BLEU、ROUGE和CIDEr等NLP指标，但这些指标无法反映医学正确性。
• 缺乏标准化、基于临床的评估协议，难以评估报告中医学术语与临床推理的准确性。
• 尽管深度学习模型已提升报告生成质量，但其输出常包含医学错误或幻觉性陈述。
• 注意力图等可解释性技术虽已应用，但尚不足以确保临床可信度。
• 领域内缺乏大规模、多样化且经临床验证的数据集，限制了模型的泛化能力。
• 将临床知识整合到模型架构中的研究仍处于探索阶段，限制了其在真实场景中的应用潜力。