[论文解读] ChatCAD+: Towards a Universal and Reliable Interactive CAD using LLMs

Zihao Zhao, Sheng Wang+7 more|arXiv (Cornell University)|May 25, 2023

Topic Modeling参考文献 54被引用 4

一句话总结

ChatCAD+ 是一种通用且可靠的交互式CAD系统，通过整合领域感知的图像理解、基于模板的报告生成以及基于知识的大型语言模型推理，能够在多种医学影像领域中生成临床一致、内容更新且风格准确的诊断报告。该系统通过从权威医学来源检索证据来提高可靠性，并通过利用范例报告来提升报告质量。

ABSTRACT

The integration of Computer-Aided Diagnosis (CAD) with Large Language Models (LLMs) presents a promising frontier in clinical applications, notably in automating diagnostic processes akin to those performed by radiologists and providing consultations similar to a virtual family doctor. Despite the promising potential of this integration, current works face at least two limitations: (1) From the perspective of a radiologist, existing studies typically have a restricted scope of applicable imaging domains, failing to meet the diagnostic needs of different patients. Also, the insufficient diagnostic capability of LLMs further undermine the quality and reliability of the generated medical reports. (2) Current LLMs lack the requisite depth in medical expertise, rendering them less effective as virtual family doctors due to the potential unreliability of the advice provided during patient consultations. To address these limitations, we introduce ChatCAD+, to be universal and reliable. Specifically, it is featured by two main modules: (1) Reliable Report Generation and (2) Reliable Interaction. The Reliable Report Generation module is capable of interpreting medical images from diverse domains and generate high-quality medical reports via our proposed hierarchical in-context learning. Concurrently, the interaction module leverages up-to-date information from reputable medical websites to provide reliable medical advice. Together, these designed modules synergize to closely align with the expertise of human medical professionals, offering enhanced consistency and reliability for interpretation and advice. The source code is available at https://github.com/zhaozh10/ChatCAD.

研究动机与目标

• 解决现有基于大语言模型的CAD系统泛化能力有限的问题，这些系统通常局限于单一影像解剖部位或模态。
• 通过整合临床报告模板，克服大语言模型生成报告与放射科医生撰写报告之间在写作风格上的不匹配。
• 通过将大语言模型的回答基于最新、可靠的医学知识来源，而非仅依赖其内部知识，来提升医学建议的可靠性。
• 实现一个通用、交互式且临床实用的CAD系统，能够处理多样化的医学影像输入，并生成类专家水平的诊断报告。

提出的方法

• 一个领域识别模块可自动分类输入的医学影像，并选择合适的CAD模型进行解释，确保模态无关的处理。
• 系统通过统一的解释管道将CAD网络输出转换为结构化的医学文本描述。
• 一个模板检索系统从内部数据库中提取前k个临床相关的报告范例，以指导大语言模型模仿放射科医生的写作风格。
• 一个知识检索模块从可信来源（例如 UpToDate）获取当前的、基于证据的医学信息，以支撑大语言模型生成的建议和治疗方案。
• 大语言模型整合检索到的模板和知识，生成在风格上一致且临床可靠的最终诊断报告。
• 该架构模块化且可扩展，支持在不同影像领域中集成新的CAD模型和知识来源。

实验结果

研究问题

• RQ1 一个单一的大语言模型系统是否能够在无需领域特定微调的情况下，可靠地解释多种解剖结构和影像领域的医学图像？
• RQ2 基于模板的检索在多大程度上能提升大语言模型生成的放射科报告在风格和临床一致性方面的表现？
• RQ3 将大语言模型的回答基于外部医学知识数据库，在多大程度上能增强临床建议的可靠性与准确性？
• RQ4 结合领域识别、模板检索与知识 grounding 是否能显著减少幻觉现象，并提升自动化诊断系统的临床可信度？

主要发现

• ChatCAD+ 展现出通用适用性，能够通过单一统一界面正确识别并处理来自多个领域的医学影像。
• 模板检索系统显著提升了大语言模型生成报告与人类放射科医生报告之间的风格一致性，减少了不自然或不一致的表达。
• 基于知识的响应展现出更高的临床可靠性，其建议具有循证依据，且相比基线大语言模型，幻觉现象更少。
• 临床专家验证表明，该系统在复杂病例（如胸腔积液和肺不张）中显著提升了诊断报告质量。
• 在对比评估中，ChatCAD+ 在生成准确、上下文恰当且内容更新的医学建议方面优于基线大语言模型，尤其在治疗方案制定和症状解读方面表现更优。
• 实时医学知识检索的集成确保了建议始终与临床指南保持一致，即使医学证据持续演变，也能保持时效性。