[논문 리뷰] Predicting Clinical Deterioration of Outpatients Using Multimodal Data Collected by Wearables

Dingwen Li, Jay Vaidya외 5명|arXiv (Cornell University)|2018. 03. 12.

Blood Pressure and Hypertension Studies참고 문헌 34인용 수 3

한 줄 요약

이 연구는 심부전 외래 환자에서 임상적 악화(재입원 또는 사망)를 예측하기 위해 피트비트 차지 HR 손목밴드에서 수집한 다중모달 웨어러블 데이터(보행 수, 심박수, 수면)를 사용하는 기계학습 프레임워크를 제안한다. 이 시스템은 88%의 환자 준수율, 높은 데이터 수확률(80% 보행 수 데이터)을 기록했으며, 가중치가 부여된 일변도 SVM 모델이 조기 악화 예측에서 96.35%의 정확도를 달성하여 기존 LACE 지수를 크게 뛰어넘었다.

ABSTRACT

Hospital readmission rate is high for heart failure patients. Early detection of deterioration will help doctors prevent readmissions, thus reducing health care cost and providing patients with just-in-time intervention. Wearable devices (e.g., wristbands and smart watches) provide a convenient technology for continuous outpatient monitoring. In the paper, we explore the feasibility of monitoring outpatients using Fitbit Charge HR wristbands and the potential of machine learning models to predicting clinical deterioration (readmissions and death) among outpatients discharged from the hospital. We developed and piloted a data collection system in a clinical study which involved 25 heart failure patients recently discharged from a hospital. The results from the clinical study demonstrated the feasibility of continuously monitoring outpatients using wristbands. We observed high levels of patient compliance in wearing the wristbands regularly and satisfactory yield, latency and reliability of data collection from the wristbands to a cloud-based database. Finally, we explored a set of machine learning models to predict deterioration based on the Fitbit data. Through 5-fold cross validation, K nearest neighbor achieved the highest accuracy of 0.8800 for identifying patients at risk of deterioration using the health data from the beginning of the monitoring. Machine learning models based on multimodal data (step, sleep and heart rate) significantly outperformed the traditional clinical approach based on LACE index. Moreover, our proposed weighted samples one class SVM model can reach high accuracy (0.9635) for predicting the deterioration happening in the future using data collected by a sliding window, which indicates the potential for allowing timely intervention.

연구 동기 및 목표

• 웨어러블 기기로 심부전 환자에서 지속적인 외래 모니터링의 실현 가능성을 평가하기 위해.
• 피트비트 손목밴드를 통해 다중모달 건강 데이터(보행 수, 심박수, 수면) 수집 시 데이터 수확률, 신뢰성 및 환자 준수 수준을 평가하기 위해.
• 웨어러블 센서 데이터를 사용하여 임상적 악화(재입원 또는 사망)를 예측하는 기계학습 모델을 개발하고 평가하기 위해.
• 다중모달 데이터를 사용한 기계학습 모델의 예측 성능을 기존의 전통적 LACE 지수와 비교하기 위해.
• 장기적인 웨어러블 데이터를 활용해 임상적 악화가 언제 가장 이른 시점에 예측 가능한지 조사하기 위해.

제안 방법

• 피트비트 차지 HR 손목밴드에서 분당 보행 수, 심박수, 수면 지속시간/질을 수동으로 수집하기 위한 클라우드 기반 데이터 수집 시스템을 구축하였다.
• 실제 환경에서의 웨어러블 모니터링 실현 가능성을 평가하기 위해, 최근 퇴원한 심부문 환자 25명을 대상으로 임상 연구를 수행하였다.
• 다양한 기계학습 모델(예: K-최근접 이웃(KNN), 일변도 SVM, 랜덤 포레스트)을 평가하기 위해 5개의 교차검증을 적용하였으며, 다중모달 센서 특징을 사용하였다.
• 슬라이딩 윈도우 방식을 사용하여 데이터 길이를 늘려가며(5일, 10일, 15일, 20일 윈도우) 조기 예측 능력을 평가하였다.
• 희귀 사건(악화)의 예측 성능을 향상시키기 위해 가중치가 부여된 샘플 일변도 SVM을 구현하였으며, 높은 민감도와 특이도를 확보하기 위해 최적화하였다.
• 모델 평가 시 민감도를 약 0.95로 고정하여 고위험 환자 조기 감지에 우선순위를 두었다.

실험 결과

연구 질문

• RQ1 피트비트 차지 HR과 같은 웨어러블 기기로 심부문 외래 환자에서 실생활 외래 환경에서 보행 수, 심박수, 수면과 같은 다중모달 건강 데이터를 신뢰성 있게 수집할 수 있는가?
• RQ2 심부문 환자 퇴원 후 장기적인 웨어러블 모니터링에서 환자 준수율과 데이터 신뢰성은 어느 정도인가?
• RQ3 다중모달 웨어러블 데이터를 기반으로 학습한 기계학습 모델이 기존 표준 LACE 지수보다 임상적 악화(재입원 또는 사망)를 더 정확하게 예측할 수 있는가?
• RQ4 웨어러블 데이터의 첫 번째 몇 일 간의 데이터만으로도 임상적 악화를 얼마나 이르게 예측할 수 있는가?
• RQ5 보행, 심박수, 수면 등의 센서 모달리티 조합 중 어느 조합이 임상적 악화 예측 성능을 가장 높게 낳는가?

주요 결과

• 88%의 환자가 피트비트 차지 HR 손목밴드를 규칙적으로 착용하여, 외래 모니터링에서 높은 준수율을 보였다.
• 참가자의 84%에서 분당 보행 수 데이터의 80%가 수집되어 활동 추적에 있어 높은 데이터 수확률을 입증하였다.
• 심박수 데이터의 중앙값 갭은 단지 4분이었으며, 보행 수 데이터보다 수확률이 낮음에도 불구하고 수용 가능한 데이터 신뢰성을 나타내었다.
• 보행 수, 심박수, 수면 데이터를 모두 조합하여 사용한 K-최근접 이웃(KNN) 모델이 위험 예측 시 가장 높은 정확도 0.8800을 기록하였다.
• 가중치가 부여된 샘플 일변도 SVM 모델은 슬라이딩 윈도우 데이터를 사용하여 향후 악화를 96.35%의 정확도로 예측하여 조기 경고의 강력한 잠재력을 보였다.
• 다중모달 데이터(보행 수, 심박수, 수면)를 사용한 모델는 단일 모달리티를 사용한 모델 및 기존의 전통적 LACE 지수를 뛰어넘었으며, 모든 특징을 조합했을 때 최고의 모델이 86.67%의 정확도를 기록하였다.