[论文解读] Enhancing LLMs for Impression Generation in Radiology Reports through a Multi-Agent System

Fang Zeng, Zhiliang Lyu+2 more|arXiv (Cornell University)|Dec 6, 2024

Semantic Web and Ontologies被引用 4

一句话总结

该论文提出 RadCouncil，一种多智能体大语言模型框架，通过整合检索智能体、放射科医生智能体和评审智能体，提升放射科印象生成的质量。该系统通过迭代反馈与检索增强生成，显著提升了诊断准确性、风格一致性与表达清晰度，相较于单智能体模型展现出更优性能，GPT-4 评估证实其在质量上实现显著提升。

ABSTRACT

This study introduces "RadCouncil," a multi-agent Large Language Model (LLM) framework designed to enhance the generation of impressions in radiology reports from the finding section. RadCouncil comprises three specialized agents: 1) a "Retrieval" Agent that identifies and retrieves similar reports from a vector database, 2) a "Radiologist" Agent that generates impressions based on the finding section of the given report plus the exemplar reports retrieved by the Retrieval Agent, and 3) a "Reviewer" Agent that evaluates the generated impressions and provides feedback. The performance of RadCouncil was evaluated using both quantitative metrics (BLEU, ROUGE, BERTScore) and qualitative criteria assessed by GPT-4, using chest X-ray as a case study. Experiment results show improvements in RadCouncil over the single-agent approach across multiple dimensions, including diagnostic accuracy, stylistic concordance, and clarity. This study highlights the potential of utilizing multiple interacting LLM agents, each with a dedicated task, to enhance performance in specialized medical tasks and the development of more robust and adaptable healthcare AI solutions.

研究动机与目标

• 为解决单智能体大语言模型在生成准确且一致的放射科报告印象时存在的局限性，特别是幻觉现象与风格不一致问题。
• 开发一种可扩展、模块化的框架，通过整合检索、生成与同行评审，模拟临床放射科工作流程。
• 利用检索增强生成与多智能体反馈，提升诊断精度与与放射学报告标准的风格一致性。
• 评估多智能体系统在减少不一致性（尤其是时间性与状态相关结论）方面的有效性。
• 探索多智能体系统在放射科以外的医疗人工智能应用中实现稳健、可靠与可适应性的潜力。

提出的方法

• RadCouncil 采用三个专业大语言模型智能体：检索智能体利用向量相似性从数据库中检索类似的历史报告。
• 放射科医生智能体基于输入的影像发现部分与检索到的范例报告生成印象，利用先前病例的上下文信息。
• 评审智能体评估生成的印象是否与发现内容一致，重点检测如错误的“无变化”状态声明等错误。
• 系统采用迭代反馈机制：若检测到不一致，放射科医生智能体将根据评审智能体的反馈对印象进行修订。
• 该框架整合了检索增强生成（RAG），以增强领域特定知识，并提升与放射学惯例的风格一致性。
• 性能通过 BLEU、ROUGE、BERTScore 及 GPT-4 的定性评估进行衡量，以胸部 X 光报告为测试案例。

Figure 1 : Diagram of the proposed RadCouncil framework, illustrating the interactions between the three agents, the report database, and the user.

实验结果

研究问题

• RQ1 与单智能体方法相比，多智能体大语言模型框架是否能提升放射科印象生成的诊断准确性和风格一致性？
• RQ2 将检索增强生成与专用评审智能体结合，在减少幻觉与不一致性方面效果如何？
• RQ3 评审智能体在多大程度上能检测并纠正与时间状态变化相关的错误，如错误的“无变化”结论？
• RQ4 具有角色专业化的多智能体架构如何提升医学文本生成的可靠性与鲁棒性？
• RQ5 该框架是否可推广至其他需要协调、专业知识与验证的临床文档任务？

主要发现

• RadCouncil 在定量指标上显著优于单智能体基线模型，BLEU、ROUGE 与 BERTScore 均有提升，表明生成内容更具流畅性与相关性。
• GPT-4 评估确认，RadCouncil 生成的印象在临床准确性、风格一致性与清晰度方面均优于单智能体模型。
• 评审智能体在五例涉及状态误述的案例中成功识别并纠正了四例不一致，尤其在“无变化”结论方面表现突出。
• 当未明确说明缺乏先前对比研究时，评审智能体未能检测到与“状态”相关的不一致，表明其时间推理能力仍需提升。
• 检索增强生成增强了与放射学报告标准的风格对齐，并提升了诊断精度，但同时也引入了新的不一致风险。
• 多智能体系统证明了通过专业化协作智能体减少幻觉、提升医学大语言模型应用可靠性的可行性。

Figure 2 : Example comparison of original impression generated by radiologist agent only vs. impression enhanced by report retriever agent.