[논문 리뷰] Leveraging Clinical Time-Series Data for Prediction: A Cautionary Tale

Eli Sherman, Hitinder S. Gurm외 3명|PubMed|2018. 11. 29.

Machine Learning in Healthcare참고 문헌 13인용 수 7

한 줄 요약

이 논문은 임상 예측 모델을 훈련하고 평가할 때 결과에 따라 결정되는 시간 포인트(예: 사망 직전 또는 퇴원 시점)를 사용할 경우 성능 추정치가 지나치게樂觀해질 수 있음을 보여준다. 두 개의 인터넷 치료실 예측 과제—입원 중 사망 및 저칼륨혈증—에 대해 결과에 따라 결정되지 않는(예: 입원 시점) 및 결과에 따라 결정되는 인덱싱 방식을 비교함으로써, 결과에 따라 결정되지 않는 방법이 더 현실적이고 높은 성능(사망 예측의 AUROC 0.882 대 0.831; 칼륨 예측의 AUROC 0.829 대 0.740)을 보여주며, EHR 기반 기계학습 모델링에서 임상적으로 현실적인 평가 프레임워크의 필수성을 강조한다.

ABSTRACT

In healthcare, patient risk stratification models are often learned using time-series data extracted from electronic health records. When extracting data for a clinical prediction task, several formulations exist, depending on how one chooses the time of prediction and the prediction horizon. In this paper, we show how the formulation can greatly impact both model performance and clinical utility. Leveraging a publicly available ICU dataset, we consider two clinical prediction tasks: in-hospital mortality, and hypokalemia. Through these case studies, we demonstrate the necessity of evaluating models using an outcome-independent reference point, since choosing the time of prediction relative to the event can result in unrealistic performance. Further, an outcome-independent scheme outperforms an outcome-dependent scheme on both tasks (In-Hospital Mortality AUROC .882 vs. .831; Serum Potassium: AUROC .829 vs. .740) when evaluated on test sets that mimic real-world use.

연구 동기 및 목표

• EHR 기반 예측 과제에서 임상 시간 시리즈 데이터의 다양한 시간 인덱싱 전략이 모델 성능와 임상적 유용성에 미치는 영향을 조사하는 것.
• 결과에 따라 결정되는 기준점(예: 사망 직전 또는 퇴원 시점)이 모델 평가에서 잘못된 높은 성능 추정치를 초래할 수 있음을 입증하는 것.
• 실제 임상 적용 상황을 반영하기 위해 훈련 및 테스트에 대해 결과에 따라 결정되지 않는 기준점—예를 들어 입원 시점—을 사용할 것을 주장하는 것.
• 입원 중 사망 및 저칼륨혈증 예측이라는 두 가지 실제 ICU 예측 과제에서 다양한 인덱싱 체계를 사용해 훈련 및 평가한 모델의 성능을 비교하는 것.
• 연구자들이 실제 임상 운영 조건을 반영하지 않는 후행적 데이터 추출 방법을 사용하는 것에 대해 경고하는 것.

제안 방법

• 연구는 두 가지 예측 과제—입원 중 사망 및 저칼륨혈증—에 대해 EHR에서 시간 시리즈 특징을 추출하기 위해 공개된 ICU 데이터셋(MIMIC-III)을 사용한다.
• 두 가지 인덱싱 전략을 적용한다: 결과에 따라 결정되는(예: 사망 또는 퇴원 시점에서의 시간) 및 결과에 따라 결정되지 않는(예: 입원 시점에서의 시간) 전략을 훈련 및 테스트 세트 구성에 모두 적용한다.
• 입원 중 사망 예측의 경우, 모델은 사망 또는 퇴원 시점에서의 시간에 기반해 추출된 데이터로 훈련 및 평가되며, 입원 시점에서의 시간에 기반한 데이터로도 훈련 및 평가된다.
• 저칼륨혈증의 경우, 두 가지 다른 사용 사례를 평가한다: (1) 입원 시점을 기준으로 매 12시간마다 향후 칼륨 수치를 예측하는 것, 및 (2) 각 혈액 검사 시점에 실시간으로 예측하는 것으로, 기준값은 제공된다.
• 성능 평가는 AUROC를 사용하며, 테스트 세트는 실제 임상 적용 조건을 반영하도록 구성된다.
• 연구는 다양한 인덱싱 체계 간의 모델 성능을 비교하며, 결과에 따라 결정되지 않는 체계가 임상적 유용성을 더 잘 반영하고 테스트 데이터의 선택 편향을 피할 수 있음을 강조한다.

실험 결과

연구 질문

• RQ1 결과에 따라 결정되는 vs. 결과에 따라 결정되지 않는 시간 인덱싱 전략의 선택이 임상 예측 모델의 성능에 어떤 영향을 미치는가?
• RQ2 결과에 따라 결정되는 기준점이 실제 적용 상황에서 지나치게樂관적인 성능 추정치를 초래하는 정도는 어느 정도인가?
• RQ3 ICU 예측 과제에서 결과에 따라 결정되지 않는 인덱싱 방식이 결과에 따라 결정되는 방식보다 더 현실적이고 높은 성능을 보일 수 있는가?
• RQ4 다양한 예측 수준과 데이터 추출 체계가 입원 중 사망 및 저칼륨혈증 예측의 모델 성능에 어떤 영향을 미치는가?
• RQ5 예를 들어 임상 사건에 가까운 쉬운 예제들만 선택된 편향된 테스트 세트를 사용할 경우 예측 모델의 임상적 유용성에 어떤 영향을 미치는가?

주요 결과

• 결과에 따라 결정되지 않는 기준점(예: 입원 시점)을 사용해 모델 평가한 결과, 입원 중 사망 예측의 AUROC는 0.882를 기록했으며, 결과에 따라 결정되는 접근 방식( AUROC 0.831)보다 유의미하게 높았다.
• 저칼륨혈증 예측의 경우, 결과에 따라 결정되지 않는 모델은 AUROC 0.829를 기록했고, 결과에 따라 결정되는 모델는 0.740에 그쳤으며, 이는 상당한 성능 격차를 의미한다.
• 실시간 예측 모델(각 혈액 검사 시점에 예측)은 AUROC 0.738을 기록했으며, 예측 수준이 짧음에도 불구하고 입원 시점 기준 모델보다 낮았다. 이는 선택적 검사로 인해 더 어려운 문제이기 때문일 것이다.
• 결과에 따라 결정되는 기준점에서 유도된 테스트 세트는 사망 또는 퇴원에 가까운 환자들 같은 더 쉬운 예제들에 치우쳐 있어, 실제 사용 조건을 반영하지 못하는 성능 지표를 과도하게 높이는 결과를 초래한다.
• 결과에 따라 결정되는 인덱싱을 사용해 훈련 및 평가한 모델는 질병의 진행 과정에 대한 통찰력을 제공할 수는 있지만, 성능 과도 추정으로 인해 임상 의사결정 지원에는 신뢰할 수 없다.
• 연구는 문제 정의의 신중한 접근, 특히 데이터 추출 및 평가 방식에서의 주의가 모델의 임상적 가치를 잘못 표현하는 것을 방지하기 위해 필수적이라고 결론내린다.