[论文解读] Almanac Copilot: Towards Autonomous Electronic Health Record Navigation

Cyril Zakka, Joseph Cho+10 more|arXiv (Cornell University)|Apr 30, 2024

Electronic Health Records SystemsHealth Professions被引用 3

一句话总结

Almanac Copilot 是一个用于减轻临床医生认知负担的第1级自主代理框架，通过自动化电子健康记录（EHR）任务（如信息检索、医嘱下达和警报呈现）实现。在基于300个真实患者查询的EHR-QA合成数据集上评估，其任务成功率达到74%（300项任务中的221项），平均得分为2.45/3，显示出在简化EHR工作流程方面的巨大潜力。

ABSTRACT

Clinicians spend large amounts of time on clinical documentation, and inefficiencies impact quality of care and increase clinician burnout. Despite the promise of electronic medical records (EMR), the transition from paper-based records has been negatively associated with clinician wellness, in part due to poor user experience, increased burden of documentation, and alert fatigue. In this study, we present Almanac Copilot, an autonomous agent capable of assisting clinicians with EMR-specific tasks such as information retrieval and order placement. On EHR-QA, a synthetic evaluation dataset of 300 common EHR queries based on real patient data, Almanac Copilot obtains a successful task completion rate of 74% (n = 221 tasks) with a mean score of 2.45 over 3 (95% CI:2.34-2.56). By automating routine tasks and streamlining the documentation process, our findings highlight the significant potential of autonomous agents to mitigate the cognitive load imposed on clinicians by current EMR systems.

研究动机与目标

• 解决由低效的文档记录和工作流程碎片化引起的临床医生职业倦怠和EHR相关的认知过载问题。
• 开发一个能够执行EHR特定任务（如数据检索、医嘱下达和警报优先级排序）的自主代理。
• 在反映常见临床工作流程的真实、合成EHR基准上评估该代理的性能。
• 为未来具备主动性和上下文感知能力的第2级自主代理奠定基础。
• 通过智能自动化减少冗余数据录入和警报疲劳，提升EHR的可用性。

提出的方法

• 该系统采用动态API选择架构，根据查询语义从预定义的工具集（如FHIR API、计算器、浏览器搜索）中选择合适工具。
• 利用大型语言模型（LLMs）并非作为独立的知识库，而是用于在EHR上下文中对齐和编排外部工具的使用。
• 使用40个模板问题和现成的LLM，创建了一个合成评估数据集EHR-QA，生成了300个基于真实患者、有依据的查询。
• 任务在三个领域进行评估：信息检索、数据操作（如医嘱下达）和警报呈现，均通过人工在环验证。
• 该代理处于第1级自主水平，临床医生在所有操作执行前进行审查和批准，以确保安全性和合规性。
• 评估指标包括任务成功率达到和3分制评分系统（1–3分）的正确性和完整性。

实验结果

研究问题

• RQ1 自主代理能否有效执行常见的EHR任务，如检索患者检验结果、下达医嘱和总结病史？
• RQ2 该代理在基于真实患者数据生成的、真实感强的合成EHR基准上的表现如何？
• RQ3 LLM驱动的代理在多大程度上可以通过自动化常规EHR交互来减轻临床医生的工作负担？
• RQ4 该系统在临床环境中如何在准确性、安全性和可用性之间取得平衡，且仅需最少的临床医生监督？
• RQ5 当前基于LLM的代理在处理EHR中复杂、多步骤临床推理时存在哪些关键局限性？

主要发现

• Almanac Copilot在EHR-QA基准上实现了74%的任务成功率（300项任务中的221项），表明其在真实世界EHR任务中表现强劲。
• 系统平均得分为2.45分（满分3分），95%置信区间为2.34–2.56，表明任务执行具有高度的准确性和完整性。
• 该代理成功处理了142项信息检索任务、103项数据操作任务（如医嘱下达）以及55项警报呈现任务，且保真度较高。
• 使用外部工具（如FHIR API、临床计算器）显著提升了结果的准确性与上下文对齐性，优于仅使用LLM的情况。
• 合成的EHR-QA数据集有效捕捉了临床工作流程的复杂性，为自主EHR代理的可靠评估提供了支持。
• 结果表明，当适当集成到EHR系统中时，自主代理可显著减轻临床医生的认知和行政负担。