[论文解读] Confidence-Guided Radiology Report Generation.

Yixin Wang, Zihao Lin+5 more|arXiv (Cornell University)|Jun 21, 2021

Multimodal Machine Learning Applications参考文献 36被引用 6

一句话总结

本文提出了一种基于置信度的放射科报告生成框架，通过显式建模视觉和文本不确定性来提高模型的可靠性。通过利用不确定性加权损失，该方法在公开的放射科数据集上实现了最先进性能，实现了更全面的优化。

ABSTRACT

Medical imaging plays a pivotal role in diagnosis and treatment in clinical practice. Inspired by the significant progress in automatic image captioning, various deep learning (DL)-based architectures have been proposed for generating radiology reports for medical images. However, model uncertainty (i.e., model reliability/confidence on report generation) is still an under-explored problem. In this paper, we propose a novel method to explicitly quantify both the visual uncertainty and the textual uncertainty for the task of radiology report generation. Such multi-modal uncertainties can sufficiently capture the model confidence scores at both the report-level and the sentence-level, and thus they are further leveraged to weight the losses for achieving more comprehensive model optimization. Our experimental results have demonstrated that our proposed method for model uncertainty characterization and estimation can provide more reliable confidence scores for radiology report generation, and our proposed uncertainty-weighted losses can achieve more comprehensive model optimization and result in state-of-the-art performance on a public radiology report dataset.

研究动机与目标

• 为解决放射科报告生成中模型不确定性这一尚未充分探索的问题。
• 显式量化基于深度学习的报告生成中的视觉与文本不确定性。
• 通过根据估计的不确定性加权损失来改进模型优化。
• 通过置信度感知训练提升生成报告的可靠性。
• 在基准放射科报告数据集上实现最先进性能。

提出的方法

• 该方法引入了一种双不确定性估计机制，用于从图像特征中量化视觉不确定性，从生成的报告标记中量化文本不确定性。
• 视觉不确定性通过图像编码器特征上的蒙特卡洛丢弃或基于熵的度量来估计。
• 文本不确定性通过自回归解码器在生成过程中的预测分布来计算。
• 估计的不确定性被用于在句子级别和报告级别动态加权损失函数。
• 不确定性加权损失函数实现了更鲁棒且更全面的模型优化。
• 该框架将不确定性估计集成到标准的序列到序列放射科报告生成流程中。

实验结果

研究问题

• RQ1 如何在放射科报告生成中有效建模视觉与文本不确定性？
• RQ2 不确定性估计能否提升生成放射科报告的可靠性？
• RQ3 不确定性加权损失训练是否能带来更好的模型优化与性能？
• RQ4 所提出的方法能否在基准放射科报告数据集上实现最先进结果？

主要发现

• 所提出的方法成功量化了放射科报告生成中的视觉与文本不确定性。
• 不确定性估计为生成报告在句子级别和报告级别提供了更可靠的置信度评分。
• 不确定性加权损失机制带来了更全面的模型优化。
• 该方法在公开的放射科报告数据集上实现了最先进性能。
• 不确定性建模的集成在无需额外标注的情况下提升了模型可靠性。