[论文解读] Improving the Factual Correctness of Radiology Report Generation with Semantic Rewards

Jean-Benoit Delbrouck, Pierre Chambon+4 more|arXiv (Cornell University)|Oct 21, 2022

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

该论文提出了一种强化学习框架，通过利用来自RadGraph数据集的语义奖励来提升放射科报告生成中的事实正确性，该数据集对胸部X光报告中的实体和关系进行了标注。通过优化基于图的奖励，该模型在事实正确性指标上相比先前方法实现了高达25.3%的相对提升。

ABSTRACT

Neural image-to-text radiology report generation systems offer the potential to improve radiology reporting by reducing the repetitive process of report drafting and identifying possible medical errors. These systems have achieved promising performance as measured by widely used NLG metrics such as BLEU and CIDEr. However, the current systems face important limitations. First, they present an increased complexity in architecture that offers only marginal improvements on NLG metrics. Secondly, these systems that achieve high performance on these metrics are not always factually complete or consistent due to both inadequate training and evaluation. Recent studies have shown the systems can be substantially improved by using new methods encouraging 1) the generation of domain entities consistent with the reference and 2) describing these entities in inferentially consistent ways. So far, these methods rely on weakly-supervised approaches (rule-based) and named entity recognition systems that are not specific to the chest X-ray domain. To overcome this limitation, we propose a new method, the RadGraph reward, to further improve the factual completeness and correctness of generated radiology reports. More precisely, we leverage the RadGraph dataset containing annotated chest X-ray reports with entities and relations between entities. On two open radiology report datasets, our system substantially improves the scores up to 14.2% and 25.3% on metrics evaluating the factual correctness and completeness of reports.

研究动机与目标

• 为解决神经放射科报告生成系统中持续存在的事实不完整与不一致问题。
• 克服BLEU和CIDEr等现有NLG指标无法捕捉事实准确性的局限。
• 开发一种针对胸部X光报告的领域特定、基于事实的奖励机制，利用放射科医生标注的语义图。
• 通过强化学习直接优化事实正确性与完整性，提升模型性能。
• 证明基于RadGraph的语义奖励在事实评估中优于弱监督或通用生物医学NER方法。

提出的方法

• 作者基于RadGraph数据集中提取的实体与关系语义图，设计了一种新型奖励函数——RadGraph奖励。
• 在放射科报告上微调RadGraph模型，为参考报告和生成报告分别生成实体与关系标注。
• 定义了三种RadGraph奖励变体：一种用于实体重叠，一种用于关系重叠，一种结合两者，用于衡量参考报告与生成报告图之间的结构相似性。
• 采用混合目标进行模型训练：使用负对数似然（NLL）损失保证流畅性，BERTScore衡量表面层面的相似性，RadGraph奖励用于优化事实正确性。
• 应用强化学习以优化RadGraph奖励，使模型能够学习生成既流畅又事实准确的报告。
• 在两个公开数据集MIMIC-CXR和Open-i上评估该方法，同时使用标准NLG指标与事实导向指标。

实验结果

研究问题

• RQ1 能否通过放射科医生标注的实体与关系图衍生出的语义奖励，提升放射科报告生成的事实正确性？
• RQ2 与优化传统NLG指标（如BLEU或CIDEr）相比，优化基于RadGraph的奖励效果如何？
• RQ3 在使用事实性语义奖励训练时，轻量级、训练速度快的模型架构在多大程度上能超越更复杂的架构？
• RQ4 与通用生物医学NER系统相比，领域特定的语义标注对事实一致性与完整性的影响如何？
• RQ5 RadGraph奖励能否缓解模型生成高精度但语法不连贯报告的倾向？

主要发现

• 所提出的RadGraph奖励方法在MIMIC-CXR数据集上的事实正确性指标上相比先前方法实现了14.2%的相对提升。
• 在Open-i数据集上，该方法在事实正确性指标上实现了25.3%的相对提升，表明其在不同数据集间具有强大的泛化能力。
• 即使在使用弱监督NLI模型或通用生物医学NER系统作为评估指标时，该模型仍优于先前依赖这些方法的模型。
• 基于RadGraph的奖励显著提升了实体召回率（40.9%的宏平均值）和关系召回率（18.7%的宏平均值），但性能因标签类型而异。
• 该模型对OBS-U实体标签的召回率为0%，表明在学习某些临床观察方面存在关键缺陷；且15%的关系被错误标注。
• 尽管强化学习训练的计算成本较高（每轮7–10小时，而NLL训练仅需50分钟），该模型在保持轻量快速架构的同时，仍实现了事实正确性的最先进水平。