[논문 리뷰] Conceptualizing Machine Learning for Dynamic Information Retrieval of Electronic Health Record Notes

Sharon Jiang, Shannon Shen외 6명|arXiv (Cornell University)|2023. 08. 09.

Electronic Health Records SystemsHealth Professions인용 수 3

한 줄 요약

이 논문은 전자건강기록(EHR) 감사 로그를 활용하여 응급실 내 노트 작성 세션 중 관련 임상 노트를 동적으로 검색하는 기계학습 프레임워크를 제안한다. 이 시스템은 임상의가 읽을 노트를 예측하는 데 AUC 0.963의 성능을 달성하며, 실시간 임상적 맥락을 활용해 핵심 환자 정보를 사전에 제시함으로써 문서화 시간을 단축하고 임상 효율성을 향상시킨다.

ABSTRACT

The large amount of time clinicians spend sifting through patient notes and documenting in electronic health records (EHRs) is a leading cause of clinician burnout. By proactively and dynamically retrieving relevant notes during the documentation process, we can reduce the effort required to find relevant patient history. In this work, we conceptualize the use of EHR audit logs for machine learning as a source of supervision of note relevance in a specific clinical context, at a particular point in time. Our evaluation focuses on the dynamic retrieval in the emergency department, a high acuity setting with unique patterns of information retrieval and note writing. We show that our methods can achieve an AUC of 0.963 for predicting which notes will be read in an individual note writing session. We additionally conduct a user study with several clinicians and find that our framework can help clinicians retrieve relevant information more efficiently. Demonstrating that our framework and methods can perform well in this demanding setting is a promising proof of concept that they will translate to other clinical settings and data modalities (e.g., labs, medications, imaging).

연구 동기 및 목표

• 시간 소모적인 EHR 탐색과 문서화로 인한 임상의의 번아웃 문제를 해결하기 위해 환자 병력을 검색하는 데 필요한 노력을 줄이는 것.
• 세밀한 감사 로그 데이터를 활용하여 응급실 내 노트 작성 중 임상의의 동적이고 시간에 따라 변하는 정보 필요성을 규명하는 것.
• 문서화 중 변화하는 임상 맥락을 바탕으로 비정형 EHR 노트를 사전에 검색하는 기계학습 프레임워크를 개발하는 것.
• 실제 임상의들과의 사용자 연구를 통해 양적 모델링과 함께 시스템의 예측 성능와 임상적 유용성을 평가하는 것.

제안 방법

• 응급실 내 개별 노트 작성 세션 동안 읽힌 노트를 식별함으로써 EHR 감사 로그에서 지도 신호를 추출한다.
• 노트의 관련성 예측을 이진 분류 문제로 설정하여, 모델이 특정 문서 작성 세션 동안 특정 노트가 읽힐지를 예측하도록 한다.
• 임상 맥락(예: 작성 중인 노트)에서 파생된 특징과 노트 내용(예: 노트 텍스트의 임bedding)에서 유도된 특징을 기반으로 기계학습 모델을 훈련시킨다.
• BERT 및 ClinicalBERT와 같은 사전 학습된 언어 모델을 활용하여 현재 임상 맥락과 노트 내용 간의 복잡한 의미적 관계를 포착한다.
• 예측된 관련성에 따라 후보 노트를 동적으로 순위 매기며, 임상의의 문서 작성 맥락이 변화함에 따라 제안 내용을 업데이트한다.
• 임상의들과의 사용자 연구를 수행하여 시스템의 정보 검색 효율성과 임상 결정 지원에 미치는 영향을 평가한다.

Figure 1: Illustration of the documentation process after a patient presents to ED. We show the written note in the ED Patient Note panel (left) as well as the corresponding timeline for the information retrieval and writing (right). When a patient presents to the ED, a team of doctors starts to sea

실험 결과

연구 질문

• RQ1 EHR 감사 로그는 응급실 내 노트 작성 세션 중 어떤 비정형 임상 노트가 읽힐지를 예측하기 위한 모델 훈련에 신뢰할 수 있는 지도 신호로 기능할 수 있는가?
• RQ2 응급실 문서화 과정에서 변화하는 임상 맥락을 고려할 때, 기계학습 모델이 실시간으로 노트의 관련성을 얼마나 잘 예측할 수 있는가?
• RQ3 동적이고 맥락 인식 기반의 노트 검색은 환자 치료 과정에서 임상의의 효율성과 정보 접근성에 얼마나 기여하는가?
• RQ4 임상의들은 동적으로 검색된 노트와 어떻게 상호작용하며, 제안된 정보의 임상적 유용성은 실제 워크플로우에서 어떻게 평가되는가?

주요 결과

• 제안된 기계학습 모델은 응급실 내 개별 노트 작성 세션에서 읽힐 노트를 예측하는 데 AUC 0.963의 성능을 달성했다.
• 사용자 연구에서 임상의들은 시스템이 상위 순위로 제안한 노트만으로도 환자 치료를 진행할 수 있었고, 이는 예측의 강한 임상적 관련성을 시사한다.
• 평가한 여섯 건의 방문 중 다섯 건에서 모델이 예측한 가장 관련성 있는 노트들이 실제로 임상의에 의해 읽혔으며, 대부분의 관련 및 관련이 없는 노트들이 상위 10개 제안 내에 포함되었다.
• 임상 전문가들은 서로 다른 노트 탐색 경로를 통해 유사한 임상 결론에 도달했으며, 이는 시스템이 다양한 워크플로우를 지원할 수 있도록 핵심 정보를 효율적으로 제시할 수 있음을 시사한다.
• 이 프레임워크는 고위험도이자 시간 민감도가 높은 환경에서 뛰어난 성능을 보였으며, 다른 임상 환경과 데이터 모odal리티로의 일반화 가능성도 보여주었다.
• 시스템의 동적이고 맥락 인식 기반의 검색은 정보 수집에 따른 인지 부담을 줄였으며, 더 빠르고 효율적인 문서화를 지원했다.

Figure 2: Dataset construction for the dynamic information retrieval task. Given a previously written note, this dynamic information retrieval task focuses on proactively predicting which available source documents are relevant to inform the next written note. The yellow blocks represent successive