[论文解读] An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT

Chong Ma, Zihao Wu+14 more|arXiv (Cornell University)|Apr 17, 2023

Topic Modeling参考文献 42被引用 40

一句话总结

ImpressionGPT 使用动态、基于相似性的提示以及迭代优化，使 ChatGPT 能在不对模型进行微调的情况下，总结放射科报告，在 MIMIC-CXR 和 OpenI 上达到最新性能。

ABSTRACT

The 'Impression' section of a radiology report is a critical basis for communication between radiologists and other physicians, and it is typically written by radiologists based on the 'Findings' section. However, writing numerous impressions can be laborious and error-prone for radiologists. Although recent studies have achieved promising results in automatic impression generation using large-scale medical text data for pre-training and fine-tuning pre-trained language models, such models often require substantial amounts of medical text data and have poor generalization performance. While large language models (LLMs) like ChatGPT have shown strong generalization capabilities and performance, their performance in specific domains, such as radiology, remains under-investigated and potentially limited. To address this limitation, we propose ImpressionGPT, which leverages the in-context learning capability of LLMs by constructing dynamic contexts using domain-specific, individualized data. This dynamic prompt approach enables the model to learn contextual knowledge from semantically similar examples from existing data. Additionally, we design an iterative optimization algorithm that performs automatic evaluation on the generated impression results and composes the corresponding instruction prompts to further optimize the model. The proposed ImpressionGPT model achieves state-of-the-art performance on both MIMIC-CXR and OpenI datasets without requiring additional training data or fine-tuning the LLMs. This work presents a paradigm for localizing LLMs that can be applied in a wide range of similar application scenarios, bridging the gap between general-purpose LLMs and the specific language processing needs of various domains.

研究动机与目标

• 通过在领域内利用大语言模型（LLMs）来促进高效的放射科报告摘要并减轻放射科医生的工作量。
• 开发一种动态的、领域特定的提示策略，使用语义上相似的现有报告来为 ChatGPT 提供上下文。
• 引入一个迭代优化循环，通过自动评估和提示更新来改进 ChatGPT 的输出。
• 在公开的放射科数据集（MIMIC-CXR 和 OpenI）上评估 ImpressionGPT，且无需额外对 LLM 进行微调。
• 提供一种可推广的范式，利用有限的领域数据将通用 LLM 适配到特定领域任务。

提出的方法

• 通过对领域特定语料库执行相似性搜索并使用 CheXpert 派生的疾病标签来选择语义相近的报告，构建动态提示。
• 构建一个三部分的动态提示：任务描述、动态样本（以类似发现和印象的问答风格）以及最终查询。
• 应用一个迭代优化算法，以 Rouge-1 将 ChatGPT 输出与相似参考的印象进行评估，并用好的/不好的示例来更新提示。
• 使用 Rouge-1 作为评估指标来指导迭代提示的改进并选择生成的最佳印象。
• 证明该方法在 MIMIC-CXR 和 OpenI 上无需对 LLM 进行微调即可达到最先进的性能，仅使用少量领域数据进行提示。
• 提供在 GitHub 上的开源代码可用性。

实验结果

研究问题

• RQ1 是否可以通过从语义相似的领域特定示例构建的动态提示，在不对模型进行微调的情况下改善 ChatGPT 的放射科印象生成？
• RQ2 与静态动态提示相比，迭代提示优化循环是否能持续提高生成的印象质量？
• RQ3 在有限领域数据下，ImpressionGPT 对不同放射科语料库（MIMIC-CXR 和 OpenI）的泛化能力如何？
• RQ4 自动评估（Rouge-1）在指导提示改进和实现更高质量印象中的作用是什么？

主要发现

• ImpressionGPT 在两个公开数据集上显著超越现有的放射科报告摘要方法。
• 该方法在提示时使用少量领域数据（5–20 条样本）即可工作，无需对 LLM 进行微调。
• 由语义上相似的报告构建的动态上下文提升了模型生成相关印象的能力。
• 使用好/坏回应反馈的迭代提示优化循环随时间进一步提升生成质量。
• 该框架被提出为一种通用范式，通过就地学习和迭代提示，将大型语言模型适应到数据有限的领域特定任务。
• 实现 ImpressionGPT 的代码已在 GitHub 上提供。