[논문 리뷰] Feature Robustness in Non-stationary Health Records: Caveats to Deployable Model Performance in Common Clinical Machine Learning Tasks

Bret Nestor, Matthew B. A. McDermott외 6명|arXiv (Cornell University)|2019. 08. 02.

Machine Learning in Healthcare참고 문헌 42인용 수 54

한 줄 요약

논문은 과거 EHR 데이터로 학습된 ML 모델이 비정상성으로 인해 미래 데이터에 일반화하기 어렵지만, 특징을 임상적 개념으로 집계하면 성능 저하가 현저히 감소함을 보여준다.

ABSTRACT

When training clinical prediction models from electronic health records (EHRs), a key concern should be a model's ability to sustain performance over time when deployed, even as care practices, database systems, and population demographics evolve. Due to de-identification requirements, however, current experimental practices for public EHR benchmarks (such as the MIMIC-III critical care dataset) are time agnostic, assigning care records to train or test sets without regard for the actual dates of care. As a result, current benchmarks cannot assess how well models trained on one year generalise to another. In this work, we obtain a Limited Data Use Agreement to access year of care for each record in MIMIC and show that all tested state-of-the-art models decay in prediction quality when trained on historical data and tested on future data, particularly in response to a system-wide record-keeping change in 2008 (0.29 drop in AUROC for mortality prediction, 0.10 drop in AUROC for length-of-stay prediction with a random forest classifier). We further develop a simple yet effective mitigation strategy: by aggregating raw features into expert-defined clinical concepts, we see only a 0.06 drop in AUROC for mortality prediction and a 0.03 drop in AUROC for length-of-stay prediction. We demonstrate that this aggregation strategy outperforms other automatic feature preprocessing techniques aimed at increasing robustness to data drift. We release our aggregated representations and code to encourage more deployable clinical prediction models.

연구 동기 및 목표

• 시간적 드리프트가 비식별화된 EHR 데이터로 학습된 임상 예측 모델에 미치는 영향을 동기화하고 정량화한다.
• 연도 간 이동에 대한 다양한 입력 표현, 모델 및 학습 방식의 견고성을 평가한다.
• 미래 데이터 배치 간 일반화를 향상시키는 완화 전략을 식별한다.

제안 방법

• Limited Data Use Agreement 하에 MIMIC-III의 연도-당 케어 데이터를 사용하여 시간적 일반화를 평가한다.
• 네 가지 표현 방식(원시, PCA, CUIs 코드 확장, 임상 집계)을 비교한다.
• 네 가지 모델(LR, RF, LSTM, GRU-D)을 세 가지 학습 방식(연도-무관, 직전 연도, 전체 이력)으로 벤치마크한다.
• ICU 사망률 및 장기 체류 기간(Los) 같은 두 가지 이진 과제를 ICU 데이터의 처음 24시간에 대해 평가한다.
• 비정상적 설정에서 AUROC로 성능을 측정하고 연도 간 감소를 보고한다.

실험 결과

연구 질문

• RQ1 MIMIC-III에서 과거 데이터로 학습하고 미래 데이터에서 평가할 때 모델 성능은 어떻게 저하되는가?
• RQ2 어떤 입력 표현 및 학습 방식이 임상 컨셉 드리프트를 가장 잘 견디는가?
• RQ3 임상적으로 동기가 부여된 특징 집계가 자동 전처리 방법에 비해 견고성을 개선하는가?
• RQ4 CareVue에서 MetaVision으로의 EHR 시스템 변화가 연도 간 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 원시 표현은 2008년 EHR 전환 이후 상당한 성능 저하를 보이며(사망률의 경우 RF에서 최대 0.29 AUROC 손실).
• 임상적으로 집계된 표현은 전체 이력 학습 하에서 AUROC 손실을 0.06(사망률) 및 0.03(LOS)으로 감소시킨다.
• PCA와 자동 CUIs는 연도 간 이동에 대한 견고성이 제한적이며, 임상 집계가 모든 모델에서 이를 능가한다.
• GRU-D는 시간 경과에 따라 일정 부분 회복을 보이며, 누락 데이터 처리의 도움으로 드리프트 견고성이 개선되지만 집계 방식이 여전히 우수하다.
• 연도 무관 평가가 원시 특징의 경우 특히 성능을 과대평가하는 경향이 있어 공개 벤치마크의 배포 가능성에 간극을 부각한다.
• 이 과제들에 대해 모델 성능은 빠르게 포화되며, 181개 실험실/생체징후 특징을 넘어서는 더 어려운 문제나 새로운 신호로의 전환이 필요함을 시사한다.