[논문 리뷰] Generalizability of predictive models for intensive care unit patients

Alistair E. W. Johnson, Tom Pollard외 1명|arXiv (Cornell University)|2018. 12. 06.

Machine Learning in Healthcare참고 문헌 19인용 수 10

한 줄 요약

이 연구는 eICU-CRD를 사용하여 중환자실 환자의 사망 예측 모델의 일반화 능력을 평가하며, 다수의 병원에서 훈련된 단일 모델이 국소적으로 재훈련된 모델보다 분류 능력에서 뛰어나며(AUROC = 0.849), 국소 데이터가 제한된 상황에서도 성능을 유지함을 보여주고, 병원 간 교차검증이 외부 성능을 신뢰할 만하게 추정할 수 있음을 시사하며, 고성능 임상 모델을 위한 다중 병원 데이터 공유의 가치를 강조한다.

ABSTRACT

A large volume of research has considered the creation of predictive models for clinical data; however, much existing literature reports results using only a single source of data. In this work, we evaluate the performance of models trained on the publicly-available eICU Collaborative Research Database. We show that cross-validation using many distinct centers provides a reasonable estimate of model performance in new centers. We further show that a single model trained across centers transfers well to distinct hospitals, even compared to a model retrained using hospital-specific data. Our results motivate the use of multi-center datasets for model development and highlight the need for data sharing among hospitals to maximize model performance.

연구 동기 및 목표

• 다중 병원 중환자실 데이터로 훈련된 예측 모델이 새로운, 알려지지 않은 병원으로 일반화되는 정도를 평가하는 것.
• 다양한 중환자실의 데이터를 통합하여 훈련한 모델이 국소 병원 데이터만을 사용해 재훈련한 모델보다 성능이 뛰어나지 않는지 평가하는 것.
• 다수의 병원 간 교차검증이 외부 환경에서의 모델 성능을 신뢰할 만하게 추정할 수 있는지 조사하는 것.
• 국소 병원 환경에서 모델 校정 및 분류 능력에 미치는 校정 및 표본 크기의 영향을 검토하는 것.
• 중환자실 치료 예측 모델의 성능 향상을 위해 병원 간 데이터 공유를 촉진하는 것.

제안 방법

• eICU-CRD v2.0 데이터베이스의 46개 미국 병원에서의 50,106건의 중환자실 입원 기록을 바탕으로 L2 정규화를 적용한 로지스틱 회귀 모델을 훈련함.
• ICU 입원 후 고정된 24시간 창을 활용해 82개의 특징(연령, 성별, 생체 징후, 검사 결과 등)을 추출하였으며, 치료 관련 변수는 제외함.
• 분류 능력 평가에 AUROC, 校정 평가에 SMR를 사용하여 보류된 병원에서의 모델 성능을 평가함.
• 일반화 성능를 추정하기 위해 훈련 세트에서 5중 교차검증을 수행함.
• 한 대규모 병원(병원 73)에서의 校정 실험을 수행하여, 국소 훈련 세트 크기를 200명에서 2,400명으로 점진적으로 증가시키며, 이전에 이전된 모델과 국소로 재훈련된 모델을 비교함.
• 안정적인 성능 추정을 확보하기 위해 무작위 셔플링을 반복하여 50회 재실행함.

실험 결과

연구 질문

• RQ1 다중 병원 중환자실 데이터로 훈련된 모델이 새로운, 알려지지 않은 병원으로 잘 일반화되는가?
• RQ2 국소 데이터셋 크기가 증가함에 따라, 이전에 이전된 모델의 성능과 국소적으로 재훈련된 모델의 성능는 어떻게 비교되는가?
• RQ3 다수의 병원 간 교차검증이 외부 병원에서의 모델 성능을 신뢰할 만하게 추정할 수 있는가?
• RQ4 국소 병원 환경에서의 모델 校정 및 분류 능력에 대해 校정이 미치는 영향은 무엇인가?
• RQ5 병원 간 데이터 공유가 중환자실 사망 예측의 예측 모델 성능 향상에 얼마나 기여하는가?

주요 결과

• 교차검증에서 다중 병원 모델의 AUROC는 0.854였고, 보류된 병원에서의 AUROC는 0.849로 안정되어 있어 강력한 일반화 능력을 보임.
• 외부 병원에서의 다중 병원 모델의 SMR는 0.560에서 1.43 사이를 오가며 평균 0.998을 기록하여 평균적으로 우수한 校정 능력을 보임.
• 국소 모델은 초기에 사망률을 과도하게 예측함(SMR > 1.0)하였지만, 데이터가 증가함에 따라 개선되어 결국 SMR가 1.0에 가까워짐.
• 더 많은 데이터로 개선되었음에도 불구하고, 국소 모델의 AUROC(2,400명 기준 0.796)는 여전히 이전된 모델의 AUROC(0.849) 이하에 머물러 있음.
• 이전된 모델의 성능은 병원 간에 일관되게 유지되었으며, 특별한 경향성 없이 떨어지는 패턴은 관찰되지 않았지만, 성능에 상당한 변동성이 있었음.
• 결과적으로, 병원 간 데이터를 통합하는 것이 고립된 국소 모델 개발에 비해 훨씬 뛰어난 모델 성능을 얻는 데 기여함을 시사함.