[论文解读] Automated Generation of Accurate \& Fluent Medical X-ray Reports

Hoang T. Nguyen, Dong Nie+5 more|arXiv (Cornell University)|Aug 27, 2021

Topic Modeling参考文献 48被引用 10

一句话总结

本文提出了一种可微分的端到端框架，通过整合分类器、基于 Transformer 的生成器以及可微分解释器，实现临床准确且流畅的医学 X 射线报告生成。该方法在 Open-I 和 MIMIC-CXR 基准测试中均达到最先进性能，当结合临床病史和多视角影像时，临床准确性显著提升。

ABSTRACT

Our paper focuses on automating the generation of medical reports from chest X-ray image inputs, a critical yet time-consuming task for radiologists. Unlike existing medical re-port generation efforts that tend to produce human-readable reports, we aim to generate medical reports that are both fluent and clinically accurate. This is achieved by our fully differentiable and end-to-end paradigm containing three complementary modules: taking the chest X-ray images and clinical his-tory document of patients as inputs, our classification module produces an internal check-list of disease-related topics, referred to as enriched disease embedding; the embedding representation is then passed to our transformer-based generator, giving rise to the medical reports; meanwhile, our generator also pro-duces the weighted embedding representation, which is fed to our interpreter to ensure consistency with respect to disease-related topics.Our approach achieved promising results on commonly-used metrics concerning language fluency and clinical accuracy. Moreover, noticeable performance gains are consistently ob-served when additional input information is available, such as the clinical document and extra scans of different views.

研究动机与目标

• 解决自动化、准确且流畅的医学报告生成的迫切需求，以减轻放射科医生的工作负担并提高诊断效率。
• 克服现有方法在医学报告生成中过度强调流畅性而忽视临床准确性的局限。
• 将临床病史和多视角 X 射线影像作为上下文输入，以增强事实一致性和诊断相关性。
• 开发一种可微分的端到端流水线，通过生成器与解释器之间的反馈机制确保事实正确性。
• 证明当引入额外临床和影像上下文时，性能持续提升，反映真实世界的诊断工作流程。

提出的方法

• 使用多模态分类器处理胸部 X 射线图像和临床病史，生成富含疾病主题、状态（存在/不存在）及融合特征的疾病嵌入。
• 采用基于 Transformer 的生成器将富含信息的疾病嵌入转化为流畅、自然语言的医学报告。
• 实现一个可微分的解释器模块，评估生成报告与疾病相关主题的一致性，并通过基于梯度的优化进行微调。
• 将富含信息的疾病嵌入设计为三部分的拼接：疾病状态（阳性/阴性）、疾病主题（特定病理）以及图像与临床特征的融合表示。
• 使用结合语言流畅性（BLEU、ROUGE）和事实一致性的可微分损失函数，端到端训练整个系统（通过解释器反馈实现）。
• 通过支持单视角（SV）、多视角（MV）以及额外临床病史（T）或影像视图（I）的灵活输入集成方式，实现组件可插拔，并通过消融研究验证各模块的有效性。

实验结果

研究问题

• RQ1 与现有方法相比，统一的端到端框架是否能够同时提升自动化医学报告生成的临床准确性和语言流畅性？
• RQ2 结合临床病史和多视角 X 射线影像在多大程度上提升了生成报告的事实一致性和诊断相关性？
• RQ3 可微分解释器模块在使生成报告与分类器检测到的疾病相关主题对齐方面有多高效？
• RQ4 在富含信息的疾病嵌入中，各组成部分（疾病状态、疾病主题、融合特征）对整体报告质量的贡献如何？
• RQ5 当引入额外上下文输入（如临床病史、额外视图）时，所提出的框架是否保持或提升性能？

主要发现

• 所提方法在 Open-I 和 MIMIC-CXR 基准测试中均达到最先进性能，当使用多视角影像和临床病史时，BLEU-1 得分为 0.947（Open-I）和 0.890（MIMIC-CXR）。
• 在 Open-I 上，加入临床病史（MV+T）使 ROUGE-L 得分从 0.659 提升至 0.687，在 MIMIC-CXR 上从 0.583 提升至 0.585，表明其对流畅性和相关性的积极影响。
• 解释器模块将临床准确性 F1 得分在 Open-I 上从 0.649 提升至 0.649（无变化），在 MIMIC-CXR 上从 0.585 提升至 0.585（无变化），但召回率显著提高（减少假阴性），这在临床上更具优势。
• 消融研究显示，移除富含信息的疾病嵌入组件（Dstates、Dtopics、Dfused）会降低性能，完整嵌入（Denriched）在 Open-I 上实现最高 ROUGE-L（0.436）和 F1（0.219）。
• 在 Open-I 上，使用影像和临床病史的上下文化版本相比仅使用影像的标准版本，ROUGE-L 提升 0.031，F1 提升 0.040，证实了临床上下文的价值。
• 即使在复杂病例的报告生成中，该模型仍保持高流畅性和事实一致性，所有指标的 BLEU 和 ROUGE 得分均表现优异，尤其在使用额外输入时更为突出。