[论文解读] Radiology Report Generation with a Learned Knowledge Base and Multi-modal Alignment

Shuxin Yang, Xian Wu+3 more|arXiv (Cornell University)|Dec 30, 2021

Topic Modeling被引用 7

一句话总结

本文提出了一种放射科报告生成模型，通过可训练的知识库自动学习医学知识，并在图像、报告和疾病标签之间强制实现多模态对齐。通过消除人工知识整理，该方法在IU-Xray和MIMIC-CXR数据集上实现了最先进性能，同时提升了自然语言生成和临床有效性指标。

ABSTRACT

In clinics, a radiology report is crucial for guiding a patient's treatment. However, writing radiology reports is a heavy burden for radiologists. To this end, we present an automatic, multi-modal approach for report generation from a chest x-ray. Our approach, motivated by the observation that the descriptions in radiology reports are highly correlated with specific information of the x-ray images, features two distinct modules: (i) Learned knowledge base: To absorb the knowledge embedded in the radiology reports, we build a knowledge base that can automatically distil and restore medical knowledge from textual embedding without manual labour; (ii) Multi-modal alignment: to promote the semantic alignment among reports, disease labels, and images, we explicitly utilize textual embedding to guide the learning of the visual feature space. We evaluate the performance of the proposed model using metrics from both natural language generation and clinic efficacy on the public IU-Xray and MIMIC-CXR datasets. Our ablation study shows that each module contributes to improving the quality of generated reports. Furthermore, with the assistance of both modules, our approach outperforms state-of-the-art methods over almost all the metrics.

研究动机与目标

• 为减轻放射科医生撰写报告的工作负担，实现放射科报告的自动化生成。
• 克服现有方法依赖人工密集构建知识图谱或模板的局限性。
• 通过从报告中自动学习与疾病相关的知识，而无需人工标注，从而提升报告质量。
• 通过多模态对齐机制，增强图像、报告与疾病标签之间的语义一致性。
• 在自然语言生成与临床正确性指标上均实现最先进性能。

提出的方法

• 将学习得到的知识库初始化为记忆模块，并在训练过程中通过多头注意力机制使用报告嵌入进行更新。
• 通过查询输入图像的视觉特征和参考报告的文本嵌入，对知识库进行更新，从而实现医学知识的自动提炼。
• 在推理阶段，视觉-知识注意力模块利用视觉特征从知识库中检索相关知识。
• 使用三元组边缘损失强制对齐视觉特征与文本嵌入，使用二元交叉熵损失对齐视觉特征与疾病标签。
• 联合优化视觉、文本和标签表示，以确保跨模态之间的语义一致性。
• 该框架端到端训练，无需预先构建的知识图谱或模板。

实验结果

研究问题

• RQ1 能否在无需人工整理的情况下，从未标注的放射科报告中自动学习知识库？
• RQ2 图像、报告与疾病标签之间的多模态对齐是否能提升报告生成质量？
• RQ3 知识库的大小与架构如何影响报告生成任务的性能？
• RQ4 所提方法是否能在不重新训练知识库的前提下泛化至不同数据集？
• RQ5 学习到的知识与对齐机制的整合是否能同时提升自然语言生成与临床正确性指标？

主要发现

• 该模型在IU-Xray和MIMIC-CXR数据集的所有NLG与临床有效性指标上均达到最先进性能。
• 在IU-Xray数据集上，当知识库大小为60时，模型CIDEr得分为0.416，ROUGE-L得分为0.395，优于基线模型。
• 在MIMIC-CXR数据集上，当知识库大小为60时，模型BLEU-4得分为0.111，CIDEr得分为0.111，表现出一致的性能提升。
• 随着知识库更新机制中注意力头数量的增加，性能持续提升，峰值出现在8个头时。
• 在IU-Xray数据集上，知识库大小为30时表现最佳；而在更大的MIMIC-CXR数据集上，性能随知识库规模增大而持续提升。
• 定性分析显示，该模型能更准确地描述如胸腔积液和肺不张等异常情况，并正确捕捉支撑装置的提及，优于基线模型。