[논문 리뷰] Multimodal Clinical Benchmark for Emergency Care (MC-BEC): A Comprehensive Benchmark for Evaluating Foundation Models in Emergency Medicine

Emma Chen, Aman Kansal외 5명|arXiv (Cornell University)|2023. 11. 07.

Emergency and Acute Care Studies인용 수 5

한 줄 요약

이 논문은 2020–2022년 동안 연속적인 생체 신호 모니터링과 다중 모odal 임상 데이터를 포함한 102,731건의 응급실 방문 기반으로, 응급의료 분야의 기초 모델을 평가하기 위한 종합적인 다중모달 기준(MC-BEC)을 소개한다. 이 기준은 연속적인 생체 신호, 심전도/PPG 파형, 영상 진단 보고서, 구조화된 EHR 등 다양한 데이터 유형을 포함하며, 병원 내 탈진, 퇴원 결정, 재방문 예측과 같은 임상적으로 관련성이 높은 작업을 여러 시간 스케일에서 평가할 수 있도록 한다. 기준은 기초 모델 성능 평가, 표준화된 훈련-테스트 분할, 정의된 평가 지표, 공정성 평가를 포함하며, 모델이 누락된 모달리티에 대해 강건한 성능을 보임을 입증하고, 인구 통계적 편향을 규명한다.

ABSTRACT

We propose the Multimodal Clinical Benchmark for Emergency Care (MC-BEC), a comprehensive benchmark for evaluating foundation models in Emergency Medicine using a dataset of 100K+ continuously monitored Emergency Department visits from 2020-2022. MC-BEC focuses on clinically relevant prediction tasks at timescales from minutes to days, including predicting patient decompensation, disposition, and emergency department (ED) revisit, and includes a standardized evaluation framework with train-test splits and evaluation metrics. The multimodal dataset includes a wide range of detailed clinical data, including triage information, prior diagnoses and medications, continuously measured vital signs, electrocardiogram and photoplethysmograph waveforms, orders placed and medications administered throughout the visit, free-text reports of imaging studies, and information on ED diagnosis, disposition, and subsequent revisits. We provide performance baselines for each prediction task to enable the evaluation of multimodal, multitask models. We believe that MC-BEC will encourage researchers to develop more effective, generalizable, and accessible foundation models for multimodal clinical data.

연구 동기 및 목표

• 응급의료 분야에서 기초 모델을 평가하기 위한 종합적이고 다중모달 기준의 부족을 해결하기 위해.
• 다양한 시간 스케일에서 임상적으로 관련성이 높은 예측 작업을 위한 표준화된 평가 프레임워크를 제공하고, 훈련-테스트 분할과 평가 지표를 정의하기 위해.
• 누락된 데이터 조건과 다양한 인구 통계적 집단 간의 성능을 강건하게 평가할 수 있도록 하기 위해.
• 코로나19 시대의 풍부한 다중모달 데이터 기반으로 다중작업 및 작업별 모델에 대한 성능 기준을 제공하기 위해.
• 실제 응급의료 환경에 적합하고 일반화 가능하며 공정하고 임상적으로 해석 가능한 기초 모델의 개발을 촉진하기 위해.

제안 방법

• 이 기준은 2020–2022년 기간 동안 모니터링된 102,731건의 응급실 방문을 포함하는 MC-MED-v0 데이터셋에 기반한다. 이 데이터셋은 연속적인 생리적 모니터링과 다중모달 임상 데이터를 포함한다.
• 이 데이터셋에는 삼각 측정 정보, 이전 진단 및 약물 복용 내역, 처방, 약물 투여 기록, 검사 결과, 생체 신호, 심전도 및 PPG 파형, 자유형 텍스트 영상 진단 보고서가 포함되어 있다.
• 이 기준은 세 가지 주요 예측 작업을 정의한다: 환자 탈진 예측(몇 분 내), 퇴원 결정 예측(몇 시간 내), 응급실 재방문 예측(며칠 내). 각 작업은 표준화된 평가 지표와 훈련-테스트 분할을 포함한다.
• 다중작업 학습 프레임워크가 사용되며, 이는 다양한 작업 간의 동시 예측을 가능하게 하면서도, 모달리티 누락에 대한 모델의 강건성 평가를 위해 추출 실험(Ablation studies)를 수행한다.
• 공정성 평가에서는 연령, 성별, 인종, 민족 등의 인구 통계적 하위군 간 비교를 수행하며, 진정 양성률(TPR) 차이, 통계적 평등성 차이(SPD), 이질적 영향(DI), 동등 기회 차이(EOD) 등의 지표를 사용한다.
• 성능 기준점을 확립하기 위해 LightGBM 기반의 기초 모델이 사용되며, 이는 복잡한 다중모달 환경에서 명시적 데이터 특징 추출의 가치를 강조한다.

실험 결과

연구 질문

• RQ1 기초 모델은 다중모달 응급실 데이터를 사용하여 탈진, 퇴원 결정, 재방문 예측과 같은 다수의 임상적으로 관련성이 높은 예측 작업에서 어떻게 성능을 발휘하는가?
• RQ2 특히 더 긴 예측 윈도우에서, 다양한 모달리티의 누락된 데이터에 대해 모델 예측은 얼마나 강건한가?
• RQ3 모델 예측에서 인구 통계적 하위군(예: 인종, 성별, 연령) 간의 성능 편차는 어떠한가?
• RQ4 다중작업 학습은 다중모달 응급의료 데이터에서 작업별 모델링과 비교하여 성능과 일반화 능력 측면에서 어떻게 다른가?
• RQ5 표준화된 기준이 응급의료 분야에서 일반화 가능하고 공정하며 임상적으로 해석 가능한 기초 모델의 평가 및 개발을 얼마나 향상시킬 수 있는가?

주요 결과

• 기준은 탈진 예측에서 연속적인 모니터링 데이터가 누락될 경우 모델 성능이 가장 민감하게 영향을 받으며, 더 긴 시간 윈도우에서 AUPRC가 최대 0.14 감소함을 입증한다.
• 퇴원 결정 예측에서 처방 데이터가 누락될 경우 성능이 크게 저하되며, 이는 임상 워크플로우 데이터가 치료 계획 수립에 핵심적인 역할을 함을 시사한다.
• 3일 이내 재방문 예측에서 인종 집단 간 평균 TPR 차이가 최대 0.11로 나타나, 모델 성능에 상당한 인구 통계적 편향이 존재함을 보여준다.
• 90분 및 120분 탈진 예측에서 성별 기반 편차가 관찰되었으며, TPR 차이는 각각 0.08과 0.09였다.
• 60분 탈진 예측에서 연령 기반 편차가 발견되었으며, 연령 집단 간 TPR 차이는 0.07였다.
• 기준은 단기 예측에서는 생리적 모니터링 데이터의 누락에 가장 취약한 반면, 장기적인 퇴원 결정 예측에서는 구조화된 데이터(예: 처방)가 가장 중요함을 규명한다.