[论文解读] Large Language Models Illuminate a Progressive Pathway to Artificial Healthcare Assistant: A Review

Mingze Yuan, Peng Bao+9 more|arXiv (Cornell University)|Nov 3, 2023

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本综述探讨了大型语言模型（LLMs）在医疗保健领域的变革潜力，展示了其在临床决策支持、知识检索和工作流程自动化方面的应用。综述强调了多模态LLMs在整合多样化医疗数据方面的作用，以及自主智能体在复杂推理中的应用，同时强调需要伦理监督和持续优化，以确保临床实践中的安全性和可靠性。

ABSTRACT

With the rapid development of artificial intelligence, large language models (LLMs) have shown promising capabilities in mimicking human-level language comprehension and reasoning. This has sparked significant interest in applying LLMs to enhance various aspects of healthcare, ranging from medical education to clinical decision support. However, medicine involves multifaceted data modalities and nuanced reasoning skills, presenting challenges for integrating LLMs. This paper provides a comprehensive review on the applications and implications of LLMs in medicine. It begins by examining the fundamental applications of general-purpose and specialized LLMs, demonstrating their utilities in knowledge retrieval, research support, clinical workflow automation, and diagnostic assistance. Recognizing the inherent multimodality of medicine, the review then focuses on multimodal LLMs, investigating their ability to process diverse data types like medical imaging and EHRs to augment diagnostic accuracy. To address LLMs' limitations regarding personalization and complex clinical reasoning, the paper explores the emerging development of LLM-powered autonomous agents for healthcare. Furthermore, it summarizes the evaluation methodologies for assessing LLMs' reliability and safety in medical contexts. Overall, this review offers an extensive analysis on the transformative potential of LLMs in modern medicine. It also highlights the pivotal need for continuous optimizations and ethical oversight before these models can be effectively integrated into clinical practice. Visit https://github.com/mingze-yuan/Awesome-LLM-Healthcare for an accompanying GitHub repository containing latest papers.

研究动机与目标

• 分析通用型和专用型LLMs在医学知识检索、研究支持和临床工作流程自动化中的当前应用。
• 探讨多模态LLMs在处理异构医疗数据（包括影像、电子健康记录（EHRs）和基因组学）中的作用，以提高诊断准确性。
• 审视LLM驱动的自主智能体在医疗保健中用于个性化和复杂临床推理的新兴应用。
• 评估现有方法在医疗背景下对LLM的可靠性、安全性和伦理合规性进行评估的手段。
• 识别关键局限性（如幻觉、偏见和缺乏透明度），并倡导持续优化和伦理监督。

提出的方法

• 对医学领域LLM应用的同行评审文献进行系统性综述，重点关注临床决策支持、知识基础化和多模态数据整合。
• 将LLM应用分类为四个领域：知识检索、研究辅助、临床工作流程自动化和诊断支持。
• 分析能够处理并关联来自病理学、放射学、基因组学和电子健康记录（EHRs）数据的多模态LLMs，以增强诊断推理能力。
• 考察由LLM驱动的自主智能体，其整合了记忆、规划、档案管理及动作执行等组件，以执行临床任务。
• 综合评估框架，通过USMLE等基准测试，评估LLM在事实准确性、安全性、公平性和临床实用性方面的表现。
• 通过批判性分析局限性（如幻觉、数据偏见和模型输出缺乏可解释性）识别关键挑战。

实验结果

研究问题

• RQ1 通用型和专用型LLMs在多大程度上提升了医疗环境中的临床决策、研究效率和工作流程效率？
• RQ2 多模态LLMs在多大程度上能够整合多种医疗数据类型（如影像、EHRs、基因组学）以提高诊断准确性？
• RQ3 LLM驱动的自主智能体是否能够有效支持超越静态提示交互的复杂个性化临床推理？
• RQ4 目前用于评估LLM在医疗应用中可靠性、安全性和伦理合规性的方法有哪些？
• RQ5 主要局限性（如幻觉、偏见和不透明性）是什么，如何通过缓解措施实现安全的临床部署？

主要发现

• GPT-4等LLM在北美医学执照考试（USMLE）中表现出色，表明其具备高水平临床推理的潜力。
• 专用型和多模态LLM在整合来自病理学、放射学和基因组学的异构数据方面展现出潜力，有助于实现更准确和全面的诊断。
• 由LLM驱动的自主智能体可通过记忆、规划和动作执行等结构化组件管理复杂临床任务，实现超越静态查询的动态交互。
• 尽管具备强大能力，LLM仍易受幻觉、事实性错误和偏见输出的影响，这源于训练数据和上下文理解的局限性。
• 伦理挑战，包括数据隐私侵犯、版权问题以及缺乏透明度，仍是临床采用的主要障碍。
• 稳健的评估框架对于确保LLM在真实世界部署前符合临床安全、公平性和可靠性标准至关重要。