[论文解读] MedDM:LLM-executable clinical guidance tree for clinical decision-making

Binbin Li, Tianxin Meng+3 more|arXiv (Cornell University)|Dec 5, 2023

Biomedical Text Mining and Ontologies被引用 7

一句话总结

本文提出了MedDM，一个从临床实践指南中衍生的大规模医疗诊断决策数据集，并提出了LLM可执行的临床指南树（CGT），以增强大语言模型（LLMs）在专业、多轮临床决策中的表现。通过将5,000份医学文献来源中的流程图转化为结构化、基于自然语言的决策树，该框架使LLMs能够通过迭代的患者对话执行鉴别诊断，显著提升了诊断准确性和临床推理能力，优于标准的医疗问答模型。

ABSTRACT

It is becoming increasingly emphasis on the importance of LLM participating in clinical diagnosis decision-making. However, the low specialization refers to that current medical LLMs can not provide specific medical advice, which are more like a medical Q\&A. And there is no suitable clinical guidance tree data set that can be used directly with LLM. To address this issue, we first propose LLM-executavle clinical guidance tree(CGT), which can be directly used by large language models, and construct medical diagnostic decision-making dataset (MedDM), from flowcharts in clinical practice guidelines. We propose an approach to screen flowcharts from medical literature, followed by their identification and conversion into standardized diagnostic decision trees. Constructed a knowledge base with 1202 decision trees, which came from 5000 medical literature and covered 12 hospital departments, including internal medicine, surgery, psychiatry, and over 500 diseases.Moreover, we propose a method for reasoning on LLM-executable CGT and a Patient-LLM multi-turn dialogue framework.

研究动机与目标

• 为解决当前医疗LLMs专业化程度不足的问题，即诊断被视作简单的问答而非多轮、有引导的探究。
• 从真实的临床实践指南中构建一个公开可用的高质量医疗诊断决策数据集（MedDM）。
• 设计一种新颖的LLM可执行临床指南树（CGT）表示方法，将鉴别诊断逻辑以自然语言形式编码，实现LLM的直接推理。
• 开发一种基于决策检索的对话框架，使LLMs能够通过迭代收集症状和遵循指南的决策路径，模拟医生的推理过程。
• 通过多轮患者-LLM交互评估框架在生成准确、临床可信响应方面的有效性。

提出的方法

• 使用版面分析和图像预处理，从5,000份医学文献来源中提取1,202个临床流程图，以隔离包含流程图的页面。
• 开发了一种结合Faster R-CNN进行节点检测（准确率达98%）和轮廓检测与DBSCAN聚类以识别连接线和决策路径的流程图识别模型。
• 采用CnOCR进行流程图内文本识别，并由7名医学校准专家团队手动验证并修正节点和连接关系。
• 通过以自然语言表示每个节点，并将决策逻辑编码为结构化、机器可读的文本，将识别出的流程图转换为LLM可执行的临床指南树（CGT）。
• 实现向量数据库以存储CGT表示，并利用重写后患者对话嵌入与CGT向量之间的余弦相似度，检索相关决策路径。
• 构建一个多轮对话系统，LLM利用检索到的CGT路径作为外部知识，引导推理，生成包含后续问题、诊断或治疗方案的响应。

实验结果

研究问题

• RQ1 LLMs能否通过结构化、基于自然语言的临床决策树有效引导，实现多轮、鉴别诊断推理，而非简单的症状问答？
• RQ2 如何系统性地从临床实践指南中提取、转换并验证流程图，使其成为标准化、LLM可访问的医疗决策格式？
• RQ3 在LLM可执行的CGT基础上，采用检索增强生成框架在多大程度上提升了LLM生成医疗响应的准确性和临床可信度？
• RQ4 专家验证的、源自指南的决策树集成如何影响LLM驱动的患者对话在一致性和推理质量方面的表现？
• RQ5 一个大规模、公开可用的临床决策树数据集（MedDM）能否作为基准测试和推动LLM医疗决策支持系统发展的基础？

主要发现

• MedDM数据集包含从5,000份医学文献来源中提取的1,202个经验证的临床指南树，覆盖12个医院科室和500多种疾病。
• 流程图识别流程在使用Faster R-CNN进行节点检测时达到了98%的准确率，实现了从医学图像中可靠提取结构信息。
• LLM可执行的CGT表示成功将以自然语言编码的鉴别诊断逻辑，使LLMs能够直接推理，无需进行符号逻辑转换。
• 基于决策检索的对话框架使LLMs能够模拟医生的询问模式，根据患者回答和CGT逻辑动态选择后续问题。
• 与标准LLMs相比，该框架在诊断推理质量方面表现更优，生成的响应与临床指南路径更加一致，且减少了通用或推测性回答。
• 本研究通过公开发布MedDM和CGT框架，为未来基准测试奠定了基础，推动了基于LLM的临床决策支持系统的发展。