[论文解读] DiReCT: Diagnostic Reasoning for Clinical Notes via Large Language Models

Bowen Wang, Jiuyang Chang+7 more|arXiv (Cornell University)|Aug 4, 2024

Topic Modeling被引用 4

一句话总结

DiReCT 引入了一个用于临床笔记的诊断推理数据集，包含 511 例由医生标注的病例，提供逐步诊断推理过程，并构建了诊断知识图谱以增强可解释性。在最先进大语言模型上的评估结果显示，模型与人类在诊断推理方面存在显著性能差距，凸显了在真实临床环境中提升推理能力的必要性。

ABSTRACT

Large language models (LLMs) have recently showcased remarkable capabilities, spanning a wide range of tasks and applications, including those in the medical domain. Models like GPT-4 excel in medical question answering but may face challenges in the lack of interpretability when handling complex tasks in real clinical settings. We thus introduce the diagnostic reasoning dataset for clinical notes (DiReCT), aiming at evaluating the reasoning ability and interpretability of LLMs compared to human doctors. It contains 511 clinical notes, each meticulously annotated by physicians, detailing the diagnostic reasoning process from observations in a clinical note to the final diagnosis. Additionally, a diagnostic knowledge graph is provided to offer essential knowledge for reasoning, which may not be covered in the training data of existing LLMs. Evaluations of leading LLMs on DiReCT bring out a significant gap between their reasoning ability and that of human doctors, highlighting the critical need for models that can reason effectively in real-world clinical scenarios.

研究动机与目标

• 为解决大语言模型（LLMs）在处理复杂、真实世界临床诊断任务时可解释性不足的问题。
• 开发一个基准数据集，以捕捉从临床笔记到最终诊断的完整诊断推理过程，如同人类医生所执行的那样。
• 提供一个基于临床指南的诊断知识图谱，以支持使用领域特定知识进行推理，这些知识通常未包含在 LLM 训练数据中。
• 评估大语言模型在多证据、逐步推理的临床场景中与人类医生在诊断推理方面的性能差距。
• 通过结构化、可解释的推理，推动更透明、更可靠的基于大语言模型的诊断助手的发展。

提出的方法

• DiReCT 数据集包含来自 MIMIC-IV 的 511 份临床笔记，涵盖心脏病学、胃肠病学、神经病学、肺病学和内分泌学五个专科的 25 种疾病类别。
• 每份临床笔记均由医生标注，以识别关键观察结果，并提供通向最终诊断的逐步诊断推理链。
• 基于权威临床指南构建诊断知识图谱，以编码特定疾病的诊断标准和推理路径。
• 实现了一个 AI 代理基线模型，利用知识图谱将诊断分解为一系列基于证据的推理步骤，从观察结果出发。
• 评估框架通过直接预测和思维链生成两种方式衡量大语言模型在诊断推理中的表现，并将其输出与人工标注的推理过程进行比较。
• 该数据集通过 PhysioNet 发布，代码可在 GitHub 上获取，以支持可复现性和进一步基准测试。

Figure 1: When a patient is admitted, an initial consultation takes place to collect subjective information. Subsequent observations may then require further examination to confirm the diagnosis.

实验结果

研究问题

• RQ1 当面对复杂临床笔记时，当前最先进的大语言模型在多大程度上能够复现人类医生的逐步诊断推理过程？
• RQ2 在诊断推理中引入正式的诊断知识图谱在多大程度上能提升大语言模型的可解释性和准确性？
• RQ3 在多证据、真实世界的临床场景中，大语言模型与人类医生在推理能力方面存在多大的性能差距？
• RQ4 大语言模型能否有效利用外部知识图谱来弥补其训练数据中的知识缺口？
• RQ5 临床笔记写作风格的差异在多大程度上影响大语言模型识别相关诊断证据的能力？

主要发现

• 当前最先进的大语言模型在复杂临床笔记的诊断推理方面与人类医生相比存在显著性能差距。
• 使用诊断知识图谱可提高推理的一致性，并帮助模型访问其训练数据中未包含的基于指南的知识。
• 仅使用知识图谱的简单 AI 代理基线模型在与人类推理的对齐程度上优于零样本大语言模型提示，表明结构化知识具有重要价值。
• DiReCT 数据集表明，由于临床笔记表述方式的差异，仅靠表面文本匹配不足以实现准确的诊断推理。
• 该数据集暴露了大语言模型在处理多证据蕴含关系和序列推理方面的局限性，即使提供了外部知识也是如此。
• 结果强调了开发能够基于临床指南进行透明、多步诊断推理的模型的紧迫需求。

Figure 2: A part of $\mathcal{K}_{i}$ for $i$ being Acute Coronary Syndromes .