[论文解读] Conceptualizing Machine Learning for Dynamic Information Retrieval of Electronic Health Record Notes

Sharon Jiang, Shannon Shen+6 more|arXiv (Cornell University)|Aug 9, 2023

Electronic Health Records SystemsHealth Professions被引用 3

一句话总结

本文提出了一种机器学习框架，利用电子健康记录（EHR）审计日志，在急诊科病历书写过程中动态检索相关临床记录，预测临床医生将阅读哪些记录的AUC达到0.963。该系统基于实时临床背景主动呈现关键患者信息，减少文档编写时间，提升临床效率。

ABSTRACT

The large amount of time clinicians spend sifting through patient notes and documenting in electronic health records (EHRs) is a leading cause of clinician burnout. By proactively and dynamically retrieving relevant notes during the documentation process, we can reduce the effort required to find relevant patient history. In this work, we conceptualize the use of EHR audit logs for machine learning as a source of supervision of note relevance in a specific clinical context, at a particular point in time. Our evaluation focuses on the dynamic retrieval in the emergency department, a high acuity setting with unique patterns of information retrieval and note writing. We show that our methods can achieve an AUC of 0.963 for predicting which notes will be read in an individual note writing session. We additionally conduct a user study with several clinicians and find that our framework can help clinicians retrieve relevant information more efficiently. Demonstrating that our framework and methods can perform well in this demanding setting is a promising proof of concept that they will translate to other clinical settings and data modalities (e.g., labs, medications, imaging).

研究动机与目标

• 通过减少检索患者病史所需的努力，缓解因耗时的EHR导航和文档编写导致的临床医生职业倦怠。
• 利用细粒度的审计日志数据，表征急诊科病历书写过程中临床医生动态变化的信息需求。
• 开发一种机器学习框架，在文档编写过程中基于不断演变的临床背景，主动检索非结构化EHR记录。
• 通过定量建模和临床医生参与的用户研究，评估该框架的预测性能和临床实用性。

提出的方法

• 利用EHR审计日志，通过识别急诊科单次病历书写会话中哪些记录被阅读，提取监督信号。
• 将记录相关性预测建模为二分类任务，即模型预测某条记录是否会在特定文档编写会话中被阅读。
• 基于临床背景特征（如正在书写的病历）和记录内容特征（如记录文本的嵌入表示）训练机器学习模型。
• 应用预训练语言模型（如BERT和ClinicalBERT）以捕捉当前临床背景与记录内容之间的复杂语义关系。
• 根据预测的相关性动态排序候选记录，并随着临床医生文档编写上下文的变化实时更新建议。
• 通过临床医生参与的用户研究，评估系统在信息检索效率和临床决策支持方面的影响。

Figure 1: Illustration of the documentation process after a patient presents to ED. We show the written note in the ED Patient Note panel (left) as well as the corresponding timeline for the information retrieval and writing (right). When a patient presents to the ED, a team of doctors starts to sea

实验结果

研究问题

• RQ1 EHR审计日志能否作为可靠监督信号，用于训练模型以预测在病历书写会话中哪些非结构化临床记录将被阅读？
• RQ2 在急诊科文档编写过程中，面对不断演变的临床背景，机器学习模型能否实现实时预测记录相关性？
• RQ3 动态、上下文感知的记录检索在多大程度上提升了临床医生的效率和信息获取能力？
• RQ4 临床医生如何与动态检索的记录互动？所建议信息在真实临床工作流程中的临床实用性如何？

主要发现

• 所提出的机器学习模型在预测单次急诊科病历书写会话中将被阅读的记录方面，AUC达到0.963。
• 在用户研究中，临床医生认为系统推荐的最高分记录在四次中有三次已足够用于继续患者诊疗，表明预测结果具有高度临床相关性。
• 在六次评估就诊中，有五次模型预测最相关的记录确实被临床医生阅读，且绝大多数相关和不相关的记录均被包含在前10项建议中。
• 临床专家即使采用不同的记录浏览路径，也能得出相似的临床结论，表明该系统可通过高效呈现关键信息，支持多样化的临床工作流程。
• 该框架在高急诊强度、时间敏感的环境中表现出色，表明其在其他临床场景和数据模态中具有潜在可推广性。
• 该系统的动态、上下文感知检索显著降低了信息收集的认知负荷，支持更快、更高效的文档编写。

Figure 2: Dataset construction for the dynamic information retrieval task. Given a previously written note, this dynamic information retrieval task focuses on proactively predicting which available source documents are relevant to inform the next written note. The yellow blocks represent successive