[论文解读] Controllable Chest X-Ray Report Generation from Longitudinal Representations

Francesco Dalla Serra, Chaoyang Wang+3 more|arXiv (Cornell University)|Oct 9, 2023

Topic ModelingComputer Science被引用 3

一句话总结

该论文提出了一种新颖的框架，用于可控的、纵向的胸部X光报告生成，通过将先前扫描和当前扫描的视觉表征融合为联合纵向表征，并利用句子解剖掩码训练语言模型，仅针对指定解剖区域生成报告。该方法在MIMIC-CXR数据集上实现了最先进性能，实现了准确、可解释且具有临床相关性的自动化报告生成，且对报告解剖结构具有完全控制能力。

ABSTRACT

Radiology reports are detailed text descriptions of the content of medical scans. Each report describes the presence/absence and location of relevant clinical findings, commonly including comparison with prior exams of the same patient to describe how they evolved. Radiology reporting is a time-consuming process, and scan results are often subject to delays. One strategy to speed up reporting is to integrate automated reporting systems, however clinical deployment requires high accuracy and interpretability. Previous approaches to automated radiology reporting generally do not provide the prior study as input, precluding comparison which is required for clinical accuracy in some types of scans, and offer only unreliable methods of interpretability. Therefore, leveraging an existing visual input format of anatomical tokens, we introduce two novel aspects: (1) longitudinal representation learning -- we input the prior scan as an additional input, proposing a method to align, concatenate and fuse the current and prior visual information into a joint longitudinal representation which can be provided to the multimodal report generation model; (2) sentence-anatomy dropout -- a training strategy for controllability in which the report generator model is trained to predict only sentences from the original report which correspond to the subset of anatomical regions given as input. We show through in-depth experiments on the MIMIC-CXR dataset how the proposed approach achieves state-of-the-art results while enabling anatomy-wise controllable report generation.

研究动机与目标

• 解决在时间受限环境下对自动化、准确且可解释的放射科报告生成的临床需求。
• 通过将纵向视觉表征融入报告生成，实现对当前与先前CXr扫描的对比。
• 通过仅针对用户指定解剖区域生成报告，提升模型的可解释性。
• 通过实现受控解剖焦点的局部报告生成，增强临床实用性。
• 在保持临床发现高保真度的前提下，实现在完整报告和部分报告生成上的最先进性能。

提出的方法

• 模型使用Faster R-CNN从当前和先前CXr扫描中提取解剖区域表征。
• 通过空间和语义对应关系，对齐先前扫描与当前扫描之间的对应解剖区域。
• 将对齐后的表征拼接，并通过可学习的投影模块投影为联合纵向表征。
• 将联合表征与临床指征字段结合，输入多模态语言模型以生成报告。
• 采用一种新颖的训练策略——句子解剖掩码，随机在训练过程中屏蔽部分解剖区域，迫使模型仅生成与可见区域相关的句子。
• 端到端模型经过训练，可生成既在解剖上精确又与纵向扫描数据在上下文中保持一致的报告。

实验结果

研究问题

• RQ1 来自先前和当前CXr扫描的纵向表征是否能提升自动化报告生成的准确性和临床相关性？
• RQ2 句子解剖掩码是否能有效训练语言模型，仅生成与指定解剖区域对应的句子，从而增强可控性和可解释性？
• RQ3 所提出方法在生成完整报告、部分报告和随访报告方面与先前方法相比表现如何？
• RQ4 模型性能在多大程度上依赖于先前扫描信息的引入和受控的解剖输入？
• RQ5 该模型能否在不同类型报告（如初次检查与随访检查）上实现一致的性能表现，具备良好的泛化能力？

主要发现

• 所提方法在MIMIC-CXR数据集上实现了最先进性能，当同时使用先前扫描和句子解剖掩码时，完整报告生成的F1得分为0.589，随访扫描的F1得分为0.599。
• 在部分报告生成方面，该模型显著优于基线方法：当同时使用先前扫描和句子解剖掩码时，F1得分为0.683，而未使用时仅为0.303。
• 生成报告的长度分布与真实值高度一致，表明其与自然报告结构的对齐性优于基线方法。
• 消融实验确认，纵向表征学习与句子解剖掩码对最优性能均至关重要，尤其在随访和部分报告场景中表现显著。
• 定性结果表明，使用该方法可显著减少在缺失解剖区域上的幻觉现象，尤其在部分报告生成中表现突出。
• 该方法在所有评估设置下均提升了临床效率指标，包括F1、精确率和召回率。