[论文解读] Can Prompt Learning Benefit Radiology Report Generation?

Jun Wang, Li Zhu+2 more|arXiv (Cornell University)|Aug 30, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

本文提出 PromptRRG，一种基于提示学习的放射科报告生成框架，通过人工设计与自动学习的提示，利用预训练语言模型蒸馏医学知识。该方法在 MIMIC-CXR 基准上实现了最先进性能，通过有效整合领域特定及疾病富集知识，且未增加可训练参数。

ABSTRACT

Radiology report generation aims to automatically provide clinically meaningful descriptions of radiology images such as MRI and X-ray. Although great success has been achieved in natural scene image captioning tasks, radiology report generation remains challenging and requires prior medical knowledge. In this paper, we propose PromptRRG, a method that utilizes prompt learning to activate a pretrained model and incorporate prior knowledge. Since prompt learning for radiology report generation has not been explored before, we begin with investigating prompt designs and categorise them based on varying levels of knowledge: common, domain-specific and disease-enriched prompts. Additionally, we propose an automatic prompt learning mechanism to alleviate the burden of manual prompt engineering. This is the first work to systematically examine the effectiveness of prompt learning for radiology report generation. Experimental results on the largest radiology report generation benchmark, MIMIC-CXR, demonstrate that our proposed method achieves state-of-the-art performance. Code will be available upon the acceptance.

研究动机与目标

• 为解决生成需要深层医学知识与复杂语义关系的临床准确放射科报告的挑战。
• 探究提示学习是否可通过激活预训练语言模型中的先验知识，提升放射科报告生成性能。
• 通过引入自动提示学习机制，减少对人工提示工程与辅助知识模块的依赖。
• 系统评估不同层次的领域知识（通用、领域特定、疾病富集）在提示中对报告质量的影响。

提出的方法

• 提出 PromptRRG，一种生成模型，利用提示学习将预训练语言模型中的知识注入放射科报告生成过程，且不增加可训练参数。
• 设计三种提示类型：通用、领域特定与疾病富集，以逐步引入不同具体程度的医学知识。
• 引入一种自动提示学习机制，使模型在训练过程中学习最优提示标记，从而消除对手动提示工程的需求。
• 采用标准编码器-解码器架构，使用预训练视觉编码器与预训练语言模型作为解码器，提示被前置到输入中。
• 使用 MIMIC-CXR 数据集进行训练与评估，自动提示学习通过生成报告的交叉熵损失进行优化。
• 开展消融研究，评估提示长度的影响以及不同提示类型对性能的有效性。

实验结果

研究问题

• RQ1 提示学习是否能通过利用大语言模型中已有的知识，有效提升放射科报告生成性能？
• RQ2 提示中不同层次的领域知识（通用、领域特定、疾病富集）如何影响报告生成质量？
• RQ3 自动提示学习机制是否能超越人工提示工程，同时减少人工干预？
• RQ4 包含疾病特异性知识在多大程度上提升了模型准确描述正常与异常发现的能力？

主要发现

• 所提出的 PromptRRG 框架在 MIMIC-CXR 基准上实现了最先进性能，超越了先前的 SOTA 方法。
• 疾病富集提示显著提升了模型生成异常描述的准确性，例如“肺底部片状密度增高，可能反映肺不张”。
• 自动提示学习机制实现了与疾病富集提示相当的强性能，证明其在无需人工工程的情况下仍具有效性。
• 消融研究显示，提示长度对性能具有非单调影响，最优性能出现在 N^p = 8 左右，表明信息与噪声之间存在平衡。
• 使用疾病富集提示的模型生成了更具临床准确性与细节的报告，包括支持诊断推理，如将影像发现与潜在疾病关联。
• 自动提示学习机制成功捕捉了有用的医学知识，表现为其能根据上下文线索生成如“轻度双侧肺底部肺不张”和“突出支气管血管纹理”等表述。