[论文解读] Coupling Symbolic Reasoning with Language Modeling for Efficient Longitudinal Understanding of Unstructured Electronic Medical Records

Shivani Shekhar, Simran Tiwari+3 more|arXiv (Cornell University)|Aug 7, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出了一种混合框架，将符号推理与大型语言模型（LLMs）相结合，以提升对非结构化电子病历（EMRs）的纵向理解能力。通过结合 LLM 的自然语言理解能力与符号逻辑的结构化推理能力，该方法增强了医学变量的提取效果，并在使用开源模型时实现了与商业 LLM 相当的性能，同时表明符号引导显著提升了 LLM 的可靠性。

ABSTRACT

The application of Artificial Intelligence (AI) in healthcare has been revolutionary, especially with the recent advancements in transformer-based Large Language Models (LLMs). However, the task of understanding unstructured electronic medical records remains a challenge given the nature of the records (e.g., disorganization, inconsistency, and redundancy) and the inability of LLMs to derive reasoning paradigms that allow for comprehensive understanding of medical variables. In this work, we examine the power of coupling symbolic reasoning with language modeling toward improved understanding of unstructured clinical texts. We show that such a combination improves the extraction of several medical variables from unstructured records. In addition, we show that the state-of-the-art commercially-free LLMs enjoy retrieval capabilities comparable to those provided by their commercial counterparts. Finally, we elaborate on the need for LLM steering through the application of symbolic reasoning as the exclusive use of LLMs results in the lowest performance.

研究动机与目标

• 解决从杂乱、不一致且冗余的非结构化 EMRs 中提取有意义医学变量的挑战。
• 探究符号推理是否能够增强 LLM 在临床文本理解中的推理能力。
• 评估最先进开源 LLM 在 EMR 提取任务中的表现，尤其与商业模型进行对比。
• 证明符号推理引导可提升 LLM 的可靠性并减少临床推理中的幻觉现象。

提出的方法

• 该框架将预训练的 LLM 与符号推理引擎结合，用于处理纵向临床记录。
• 设计符号规则以编码临床逻辑，例如时间关系、诊断标准和治疗序列。
• LLM 从非结构化文本中提取候选实体和关系，随后通过符号推理进行验证和优化。
• 采用检索增强生成管道以增强上下文感知能力，从而更好地处理长期患者病史。
• 系统使用基于规则的过滤与一致性检查，校正 LLM 生成的输出，提升事实准确性。
• 该方法在真实世界 EMR 数据集上，基于标准医学变量提取基准进行评估。

实验结果

研究问题

• RQ1 当与 LLM 结合时，符号推理是否能提升从非结构化 EMRs 中提取医学变量的准确性和一致性？
• RQ2 在符号推理增强下，开源 LLM 与商业 LLM 在纵向临床文本理解中的表现如何比较？
• RQ3 符号引导在多大程度上减少了幻觉并提升了基于 LLM 的临床系统中的推理可靠性？
• RQ4 混合符号-LLM 系统是否能在 EMR 理解任务中达到与商业模型相当的性能？

主要发现

• 与单独使用 LLM 相比，混合符号-LLM 系统显著提升了关键医学变量的提取准确性。
• 在符号推理引导下，开源 LLM 实现了与商业 LLM 相当的检索与推理性能。
• 符号推理减少了幻觉现象，并提升了临床推理的一致性，尤其在纵向语境下表现更优。
• LLM 与符号规则的结合，产生了更可靠且可解释的临床决策支持输出。