[논문 리뷰] MedLens: Improve Mortality Prediction Via Medical Signs Selecting and Regression

Xuesong Ye, Jun Wu외 2명|arXiv (Cornell University)|2023. 05. 19.

Machine Learning in Healthcare참고 문헌 26인용 수 4

한 줄 요약

MedLens는 고빈도, 고상관도를 가진 의료 신호를 선별하고, 결측치를 처리하기 위해 랜덤 포레스트 기반 보간법을 적용함으로써 중환자실 사망 예측 성능을 향상시켰다. 이로 인해 AUC-ROC 0.9553, AUC-PR 0.8051을 달성하였으며, 이는 이전 기준 모델을 크게 능가하는 성능이다.

ABSTRACT

Monitoring the health status of patients and predicting mortality in advance is vital for providing patients with timely care and treatment. Massive medical signs in electronic health records (EHR) are fitted into advanced machine learning models to make predictions. However, the data-quality problem of original clinical signs is less discussed in the literature. Based on an in-depth measurement of the missing rate and correlation score across various medical signs and a large amount of patient hospital admission records, we discovered the comprehensive missing rate is extremely high, and a large number of useless signs could hurt the performance of prediction models. Then we concluded that only improving data-quality could improve the baseline accuracy of different prediction algorithms. We designed MEDLENS, with an automatic vital medical signs selection approach via statistics and a flexible interpolation approach for high missing rate time series. After augmenting the data-quality of original medical signs, MEDLENS applies ensemble classifiers to boost the accuracy and reduce the computation overhead at the same time. It achieves a very high accuracy performance of 0.96 AUC-ROC and 0.81 AUC-PR, which exceeds the previous benchmark.

연구 동기 및 목표

• 전자 건강 기록(EHR)에서 낮은 데이터 품질, 특히 높은 결측률과 낮은 상관도를 가지는 의료 신호로 인해 사망 예측 성능이 저하되는 문제를 해결하기 위해.
• 기록 빈도가 높고 사망과 강한 상관관계가 있는 가장 유의미한 의료 신호만을 선별함으로써 모델의 복잡성과 노이즈를 줄이기 위해.
• 불규칙하게 샘플링된 시계열 데이터의 결측치를 효과적으로 복원하는 데 초점을 맞춘, 랜덤 포레스트 회귀 기반의 새로운 유연한 보간 방법을 개발하기 위해.
• 고품질의 데이터 전처리와 경량 앙상블 분류 기법을 융합하여 예측 정확도와 계산 효율성을 동시에 향상시키기 위해.

제안 방법

• 100개 이상의 의료 신호에 대해 MIMIC-III 데이터셋을 종합적으로 분석하여 결측률과 상관계수를 측정하고, 낮은 빈도와 약한 상관도를 가지는 신호를 노이즈로 간주함.
• 기록 빈도가 낮고 사망과의 상관도가 약한 신호를 걸러내는 통계적 특징 선택 방법을 구현하여, 유의미한 영향을 미치는 신호만을 유지함.
• 다변량 시계열에서 결측치를 보간하기 위해 시간적 패턴을 학습하는 랜덤 포레스트 회귀 기반 보간 기법을 설계하였으며, 기존의 전진/후행 보간 기법보다 뛰어난 성능을 보임.
• 청결한 데이터와 보간된 시계열 데이터를 기반으로 앙상블 분류기(랜덤 포레스트 및 기울기 부스팅)를 적용하여 예측 정확도를 향상시키고 계산 오버헤드를 감소시킴.
• 상위 성능 모델과의 비교를 위해 AUC-ROC와 AUC-PR을 주요 평가 지표로 사용함.
• 속도와 정확도의 균형을 고려하여 최종 분류기로 랜덤 포레스트를 선택함으로써 효율성을 최적화하였으며, 계산 시간의 2.28%로 기울기 부스팅의 97.72%의 정확도를 달성함.

실험 결과

연구 질문

• RQ1 EHR 데이터 내 의료 신호의 결측률과 상관계수는 사망 예측 모델의 성능에 어떤 영향을 미치는가?
• RQ2 기록 빈도가 낮고 상관도가 약한 의료 신호를 걸러내는 통계적 특징 선택 방법이 예측 정확도 향상에 기여하는가?
• RQ3 고결측률을 가지는 시계열에 대해 랜덤 포레스트 기반 보간법이 전통적 보간 기법보다 더 뛰어난 예측 성능을 내는가?
• RQ4 경량 앙상블 분류기는 계산 비용을 줄이면서도 사망 예측 과제에서 높은 정확도를 유지할 수 있는가?

주요 결과

• MIMIC-III 데이터셋 내 의료 신호의 종합적인 결측률은 매우 높으며, 많은 신호들이 거의 기록되지 않으며 사망과 거의 관련이 없다.
• 고빈도, 고상관도를 가지는 의료 신호의 소수의 하위 집합만으로도 매우 높은 예측 정확도를 달성할 수 있으며, 이는 데이터 품질이 모델 복잡성보다 더 중요하다는 것을 보여준다.
• 제안된 랜덤 포레스트 보간 기법은 기존의 전진/후행 보간 기법보다 뚜렷이 뛰어나며, Harutyunyan 등 [1]의 결과와 비교해 AUC-ROC는 8.5% 향상되고, AUC-PR은 47% 향상됨.
• MedLens는 AUC-ROC 0.9553과 AUC-PR 0.8051을 달성하였으며, Harutyunyan 등 [1]이 보고한 기준 모델의 AUC-ROC 0.87과 AUC-PR 0.533을 뛰어넘음.
• 최종 분류기로 랜덤 포레스트를 사용함으로써 기울기 부스팅의 97.72% 정확도를 달성하면서도 계산 시간의 2.28%로 매우 효율적인 성능을 보였으며, 대규모 배포에 매우 적합함.
• 본 연구는 기계학습 알고리즘 자체를 수정하지 않더라도, 특징 선택과 고도화된 보간 기법을 통해 데이터 품질을 향상시키면 성능 향상에 상당한 기여가 가능하다는 점을 확인함.