[논문 리뷰] Benchmarking machine learning models on eICU critical care dataset

Seyedmostafa Sheikhalishahi, Vevake Balaraman외 1명|arXiv (Cornell University)|2019. 10. 02.

Machine Learning in Healthcare인용 수 5

한 줄 요약

이 논문은 사망 예측, 입원 기간 예측, 환자 페노타이핑, 악화 위험도 평가의 네 가지 중증 관리 과제를 평가하기 위해 eICU 데이터셋을 사용한 공개 벤치마크 세트를 소개한다. 임상 모델, 기초 모델, 딥 러닝 모델을 비교하여 수치형 및 범주형 변수 처리 방식이 모든 과제에서 성능에 미치는 영향을 입증한다.

ABSTRACT

Progress of machine learning in critical care has been difficult to track, in part due to absence of public benchmarks. Other fields of research (such as vision and NLP) have already established various competitions and benchmarks, whereas only recent availability of large clinical datasets has enabled the possibility of public benchmarks. Taking advantage of this opportunity, we propose a public benchmark suite to address four areas of critical care, namely mortality prediction, estimation of length of stay, patient phenotyping and risk of decompensation. We define each task and compare the performance of both clinical models as well as baseline and deep models using eICU critical care dataset of around 73,000 patients. Furthermore, we investigate the impact of numerical variables as well as handling of categorical variables for each of the defined tasks.

연구 동기 및 목표

• 표준화된 평가 프레임워크의 부족으로 인해 중증 관리 분야의 머신러닝을 위한 공개 벤치마크 세트를 구축하기 위해.
• 사망 예측, 입원 기간 예측, 환자 페노타이핑, 악화 위험도 평가의 네 가지 핵심 임상 과제를 해결하기 위해.
• ~73,000명의 환자를 포함한 대규모 eICU 데이터셋을 사용하여 임상 모델, 기초 모델, 딥 러닝 모델 간의 성능을 비교하기 위해.
• 수치형 및 범주형 변수 처리 방식이 다양한 임상 과제에서 모델 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 벤치마크 세트는 약 73,000명의 환자를 포함한 eICU 중증 관리 데이터셋 기반으로 구축된다.
• 네 가지의 구체적인 머신러닝 과제가 정의된다: 사망 예측, 입원 기간 예측, 환자 페노타이핑, 악화 위험도 평가.
• 평가 대상 모델에는 임상 모델, 기존 기초 모델(예: 로지스틱 회귀), 딥 러닝 아키텍처(예: RNN, 트랜스포머)가 포함된다.
• 수치형 변수는 표준화 또는 스케일링을 통해 처리되며, 범주형 변수는 원핫 인코딩 또는 임베딩 기법을 사용해 인코딩된다.
• 성능 평가는 표준 지표를 사용한다: 분류 과제의 경우 AUC-ROC, 회귀 과제의 경우 MAE 및 RMSE, 페노타이핑의 경우 조정된 랜드 지수.
• 실험은 과제 전반에서 모델 성능에 미치는 영향을 평가하기 위해 데이터 전처리 전략을 체계적으로 변화시킨다.

실험 결과

연구 질문

• RQ1 eICU 데이터셋을 사용할 때 다양한 머신러닝 모델이 핵심 중증 관리 예측 과제에서 어떻게 성능을 내는가?
• RQ2 수치형 변수 전처리가 중증 관리 머신러닝 과제에서 모델 성능에 미치는 상대적 영향은 무엇인가?
• RQ3 범주형 변수 인코딩 방식의 선택이 사망 예측 및 페노타이핑 과제에서 모델 성능에 미치는 영향은 어떠한가?
• RQ4 딥 러닝 모델이 정의된 과제 전반에서 임상 모델 및 기초 모델을 얼마나 뛰어넘는가?
• RQ5 어떤 데이터 전처리 전략이 여러 중증 관리 예측 과제에서 가장 일관된 향상을 이끌어내는가?

주요 결과

• 딥 러닝 모델은 특히 시퀀스 모델링 아키텍처를 사용할 경우 사망 예측 및 악화 위험도 평가 과제에서 기존 기초 모델 및 임상 모델을 뛰어넘었다.
• 임베딩 기법을 통한 범주형 변수 처리가 특히 페노타이핑 및 사망 예측 과제에서 성능 향상에 크게 기여했다.
• 수치형 변수의 표준화가 모든 과제에서 일관되게 성능 향상을 이끌었으며, 입원 기간 예측 과제에서 가장 큰 영향을 미쳤다.
• 페노타이핑 성능는 전처리 전략에 가장 민감했으며, 임베딩 기반 방법이 원핫 인코딩보다 높은 조정된 랜드 지수를 기록했다.
• 벤치마크 세트는 과제 간 성능 격차가 뚜렷하게 나타나며, 사망 예측 과제에서 모든 과제 중 가장 높은 AUC-ROC 스코어를 기록했다.
• 연구는 데이터 전처리, 특히 범주형 특징에 대한 전처리가 모델 성공의 핵심 요소임을 입증했으며, 아키텍처 선택보다 종종 더 큰 영향을 미쳤다.