[논문 리뷰] Almanac Copilot: Towards Autonomous Electronic Health Record Navigation

Cyril Zakka, Joseph Cho외 10명|arXiv (Cornell University)|2024. 04. 30.

Electronic Health Records SystemsHealth Professions인용 수 3

한 줄 요약

Almanac Copilot는 전자건강기록(EHR) 작업인 정보 검색, 주문 배치, 경고 표시 등을 자동화하여 임상의의 인지 부하를 줄이기 위해 설계된 레벨 1 자율 에이전트 프레임워크이다. 300개의 실제 환자 기반 질의로 구성된 EHR-QA 합성 데이터셋에서 평가된 결과, 74%의 작업 성공률(300개 중 221개)을 기록했으며 평균 점수는 3점 만점에 2.45점으로 나타나 EHR 워크플로우를 간소화할 잠재력이 높음을 입증하였다.

ABSTRACT

Clinicians spend large amounts of time on clinical documentation, and inefficiencies impact quality of care and increase clinician burnout. Despite the promise of electronic medical records (EMR), the transition from paper-based records has been negatively associated with clinician wellness, in part due to poor user experience, increased burden of documentation, and alert fatigue. In this study, we present Almanac Copilot, an autonomous agent capable of assisting clinicians with EMR-specific tasks such as information retrieval and order placement. On EHR-QA, a synthetic evaluation dataset of 300 common EHR queries based on real patient data, Almanac Copilot obtains a successful task completion rate of 74% (n = 221 tasks) with a mean score of 2.45 over 3 (95% CI:2.34-2.56). By automating routine tasks and streamlining the documentation process, our findings highlight the significant potential of autonomous agents to mitigate the cognitive load imposed on clinicians by current EMR systems.

연구 동기 및 목표

• 비효율적인 문서화와 워크플로우 분할로 인해 발생하는 임상의의 번아웃과 EHR 관련 인지 과부하를 해결하기 위해.
• 정보 검색, 주문 배치, 경고 우선순위 정하기와 같은 EHR 전용 작업을 수행하는 자율 에이전트를 개발하기 위해.
• 일상적인 임상 워크플로우를 반영한 현실적인 합성 EHR 기준에서 에이전트의 성능을 평가하기 위해.
• 주도적이고 맥락 인식 능력을 갖춘 향후 레벨 2 자율 에이전트의 기반을 마련하기 위해.
• 지능적인 자동화를 통해 반복적인 데이터 입력과 알림 피로를 최소화하여 EHR의 사용성을 향상시키기 위해.

제안 방법

• 시스템은 질의의 의미를 기반으로 사전 정의된 도구 집합(예: FHIR API, 계산기, 브라우저 검색) 중에서 동적으로 API 선택을 수행하는 아키텍처를 사용한다.
• 대규모 언어 모델(LLM)은 단독 지식 기반으로 사용되지 않고, EHR 맥락 내에서 외부 도구 사용을 지능적으로 지휘하고 기반화하기 위해 활용된다.
• 40개의 템플릿 질문과 상용 LLM을 사용하여 300개의 기반화된 실제 환자 기반 질의를 생성함으로써 합성 평가 데이터셋인 EHR-QA를 구축하였다.
• 작업들은 정보 검색, 데이터 조작(예: 주문 배치), 경고 표시의 세 영역으로 나뉘어 인간의 참여를 통한 검증을 거쳤다.
• 에이전트는 레벨 1 자율성 수준에서 작동하며, 모든 조치가 실행되기 전에 임상의가 검토하고 승인함으로써 안전성과 규정 준수를 확보한다.
• 평가 지표로는 작업 성공률과 정확성 및 완전성에 대한 3점 척도(1~3점)가 사용되었다.

실험 결과

연구 질문

• RQ1 자율 에이전트가 환자 검사 결과 검색, 주문 배치, 병력 요약과 같은 일반적인 EHR 작업을 효과적으로 수행할 수 있는가?
• RQ2 실제 환자 데이터에서 유래한 현실적인 합성 EHR 기준에서 에이전트의 성능은 어떠한가?
• RQ3 LLM 기반 에이전트가 routine EHR 상호작용을 자동화함으로써 임상의의 작업 부담을 얼마나 줄일 수 있는가?
• RQ4 최소한의 임상의 감시 하에 임상 환경에서 정확성, 안전성, 사용성 간의 균형을 어떻게 유지할 수 있는가?
• RQ5 현재 LLM 기반 에이전트는 EHR 내에서 복잡한 다단계 임상 추론을 처리하는 데 있어 어떤 핵심적 한계를 지니는가?

주요 결과

• Almanac Copilot는 EHR-QA 기준에서 300개의 작업 중 221개(74%)의 작업 성공률을 기록하여 실제 세계의 EHR 작업에서 뛰어난 성능을 보였다.
• 시스템은 평균 3점 만점에 2.45점(95% 신뢰구간: 2.34~2.56)의 점수를 확보하여 작업 수행의 높은 정확성과 완전성을 입증하였다.
• 에이전트는 정보 검색 작업 142건, 데이터 조작 작업 103건(예: 주문 배치), 경고 표시 작업 55건을 높은 정밀도로 처리하였다.
• 외부 도구(예: FHIR API, 임상 계산기)의 사용은 LLM만을 사용하는 것보다 지능적 기반과 정확도를 크게 향상시켰다.
• 합성된 EHR-QA 데이터셋은 임상 워크플로우의 복잡성을 효과적으로 반영하여 자율 EHR 에이전트의 신뢰성 있는 평가를 가능하게 하였다.
• 결과적으로 자율 에이전트는 EHR 시스템에 적절히 통합될 경우 임상의의 인지적 및 행정적 부담을 크게 줄일 수 있음을 시사한다.