[논문 리뷰] ClinicalVis: Supporting Clinical Task-Focused Design Evaluation

Marzyeh Ghassemi, Mahima Pushkarna외 3명|arXiv (Cornell University)|2018. 10. 13.

Electronic Health Records Systems참고 문헌 55인용 수 26

한 줄 요약

ClinicalVis는 ICU 환자에서 생리적 위축을 예측하는 데 중점을 두고 임상 계획을 수행할 때 의료 제공자(HCP)가 전자 건강 기록(EHR)과 어떻게 상호작용하는지 평가하는 오픈소스이자 시각화 기반의 프로토타입 시스템이다. 사용자 친화성과 자신감 향상에도 불구하고, 더 나은 시각화로도 진단 정확도가 유의미하게 향상되지 않아 EHR 내에서 더 나은 데이터 표현 및 의사결정 지원 도구의 필요성을 드러낸다.

ABSTRACT

Making decisions about what clinical tasks to prepare for is multi-factored, and especially challenging in intensive care environments where resources must be balanced with patient needs. Electronic health records (EHRs) are a rich data source, but are task-agnostic and can be difficult to use as summarizations of patient needs for a specific task, such as "could this patient need a ventilator tomorrow?" In this paper, we introduce ClinicalVis, an open-source EHR visualization-based prototype system for task-focused design evaluation of interactions between healthcare providers (HCPs) and EHRs. We situate ClinicalVis in a task-focused proof-of-concept design study targeting these interactions with real patient data. We conduct an empirical study of 14 HCPs, and discuss our findings on usability, accuracy, preference, and confidence in treatment decisions. We also present design implications that our findings suggest for future EHR interfaces, the presentation of clinical data for task-based planning, and evaluating task-focused HCP/EHR interactions in practice.

연구 동기 및 목표

• 심층 치료 부문(ICU)에서 효과적인 임상 의사결정을 방해하는 작업 무관 EHR의 문제를 해결하기 위해.
• 실제 환자 데이터를 기반으로 한 MIMIC-III 데이터셋을 활용하여 HCP가 특정 임상 작업을 수행하는 데 도움이 되는 프로토타입 시스템을 개발하기 위해.
• ClinicalVis와 기준 EHR 인터페이스를 사용하여 작업 중심 환경에서 HCP-EHR 상호작용을 실증적으로 평가하기 위해.
• 향후 EHR의 개선을 위한 설계 시사점을 도출하기 위해, 데이터 시각화 및 작업 중심성 향상을 통해 임상 의사결정 지원을 향상시키기 위함이다.

제안 방법

• ClinicalVis는 임상 계획을 위한 작업 중심의 상호작용 가능한 인터페이스로 핵심 EHR 데이터를 제시하도록 설계된 시각화 기반 프로토타입 시스템이다.
• 시스템은 MIMIC-III 데이터셋에서 유래한 실제 익명화된 ICU 환자 데이터를 사용하여 임상 의사결정 시나리오를 시뮬레이션한다.
• 14명의 실무 HCP를 대상으로 한 개념 검증 설계 연구가 수행되었으며, 상업적 시스템을 모방하는 기준 EHR 인터페이스와 ClinicalVis를 비교하였다.
• HCP들은 두 인터페이스를 사용하여 ICU 환자의 생리적 위축을 예측하도록 지시받았으며, 사용자 친화성, 정확도, 자신감, 의사결정 과정에 대한 데이터를 수집하였다.
• 연구에서는 구술 발화, 탐색 패턴, 사후 평가를 포함한 HCP 상호작용의 정량적 및 정성적 분석을 수행하였다.
• ClinicalVis는 오픈소스 원칙을 기반으로 구축되었으며, 향후 연구 및 평가를 위해 http://github.com/PAIR-code/clinical-vis 에서 무료로 이용 가능하다.

실험 결과

연구 질문

• RQ1 HCP는 ICU에서 환자 위축을 예측하는 등의 특정 임상 작업을 수행할 때 EHR 데이터와 어떻게 상호작용하는가?
• RQ2 ClinicalVis와 같은 작업 중심의 시각화 인터페이스는 표준의 작업 무관 EHR 인터페이스에 비해 HCP의 정확도, 자신감 또는 사용자 친화성 향상에 기여하는가?
• RQ3 데이터 시각화는 간호 계획 과정에서 임상 의사결정을 지원하거나 저해하는 데 어떤 역할을 하는가?
• RQ4 HCP는 ClinicalVis와 기준 EHR 시스템을 사용할 때 시간과 인지 자원을 어떻게 다르게 활용하는가?
• RQ5 EHR 시각화 시스템에서 어떤 설계 요소가 더 나은 임상 추론과 의사결정 검증을 지원하는가?

주요 결과

• HCP는 ClinicalVis 인터페이스를 사용할 때조차도 EHR 데이터에서 환자의 필요를 예측하는 데 일반적으로 정확도가 떨어졌으며, 이는 임상 데이터 해석에 지속적인 과제가 있음을 시사한다.
• 진단 정확도 향상이 유의미하지 않음에도 불구하고, HCP들은 ClinicalVis를 사용할 때 더 높은 자신감과 더 나은 경험을 보고하였다.
• ClinicalVis를 사용한 HCP들은 보다 오랜 시간을 치료 계획 검증과 환자 정보 회상에 할애하여, 더 높은 인지적 참여도와 서사적 구성 능력을 보였다.
• 검증 과정이 ClinicalVis에서 향상되었으며, 참가자들은 다양한 시각화 영역을 탐색하면서 결론을 자주 수정하는 경향을 보였다.
• 12명의 참가자가 ClinicalVis를 사용할 때 임상적 서사를 수립하는 데 더 용이하다고 언급하여, 임상 추론 지원이 향상됨을 시사한다.
• 연구에서는 정보 과부하 문제가 더 나은 시각화로 해결되지 않았으며, 앵커링 및 확인 편향 같은 휠러리즘은 활동적인 데이터 검증 관행을 통해 완화됨을 밝혀냈다.