[논문 리뷰] A Transformer-based Diffusion Probabilistic Model for Heart Rate and Blood Pressure Forecasting in Intensive Care Unit

Ping Chang, Huayu Li외 5명|arXiv (Cornell University)|2023. 01. 16.

Hemodynamic Monitoring and TherapyMedicine인용 수 3

한 줄 요약

이 논문은 희박하고 간헐적인 생체신호 데이터를 사용하여 중환자실(ICU) 환자의 심박수와 혈압을 예측하는 Transformer 기반의 확산 확률 모델인 TDSTF를 제안한다. 삼중체 기반 입력 메커니즘과 Transformer 기반 백본을 활용하여, 최고의 베이스라인 대비 18.9% 낮은 SACRPS와 34.3% 낮은 MSE를 기록하면서도 추론 속도가 17배 이상 빠르다.

ABSTRACT

Background and Objective: Vital sign monitoring in the Intensive Care Unit (ICU) is crucial for enabling prompt interventions for patients. This underscores the need for an accurate predictive system. Therefore, this study proposes a novel deep learning approach for forecasting Heart Rate (HR), Systolic Blood Pressure (SBP), and Diastolic Blood Pressure (DBP) in the ICU. Methods: We extracted $24,886$ ICU stays from the MIMIC-III database which contains data from over $46$ thousand patients, to train and test the model. The model proposed in this study, Transformer-based Diffusion Probabilistic Model for Sparse Time Series Forecasting (TDSTF), merges Transformer and diffusion models to forecast vital signs. The TDSTF model showed state-of-the-art performance in predicting vital signs in the ICU, outperforming other models' ability to predict distributions of vital signs and being more computationally efficient. The code is available at https://github.com/PingChang818/TDSTF. Results: The results of the study showed that TDSTF achieved a Standardized Average Continuous Ranked Probability Score (SACRPS) of $0.4438$ and a Mean Squared Error (MSE) of $0.4168$, an improvement of $18.9\%$ and $34.3\%$ over the best baseline model, respectively. The inference speed of TDSTF is more than $17$ times faster than the best baseline model. Conclusion: TDSTF is an effective and efficient solution for forecasting vital signs in the ICU, and it shows a significant improvement compared to other models in the field.

연구 동기 및 목표

• 희박하고 간헐적인 모니터링에도 불구하고 중환자실(ICU) 환자의 심박수(HR), 수축기 혈압(SBP), 이완기 혈압(DBP)을 정확하게 예측할 수 있는 딥러닝 모델을 개발하는 것.
• 기존 모델이 연속적인 데이터에 의존하고 치료법 및 공존 질환과 같은 임상적 맥락을 忽시하는 한계를 해결하는 것.
• 희박한 시계열 데이터에 대한 예측 성능 향상을 위해 확산 확률 모델을 Transformer 기반 아키텍처와 통합하는 것.
• 중증 관리 환경에서 실시간 임상 적용을 위한 계산 효율성을 향상시키는 것.
• 대규모 ICU 데이터셋(MIMIC-III)을 기반으로 모델을 평가하여 다양한 환자 집단에 걸쳐 일반화 능력과 강인성을 입증하는 것.

제안 방법

• TDSTF 모델은 확산 확률 프레임워크와 Transformer 기반 백본을 조합하여 희박한 생체신호 시계열 내 복잡한 시간적 종속성을 모델링한다.
• 조건부 관측치, 노이즈, 시간 단계를 인코딩하는 삼중체 기반 입력 표현 방식을 사용하여 신호 대 노이즈 비율을 향상시키고 입력의 혼란을 감소시킨다.
• 역 마르코프 체인을 통해 점진적으로 노이즈를 제거하는 확산 과정을 거치며, Transformer 인코더를 갖춘 디노이징 U-Net을 사용해 생체신호의 기저 분포를 학습한다.
• 변분 하한 목적 함수를 사용해 엔드 투 엔드로 학습하며, 디노이징 과정의 재구성 손실을 최소화한다.
• 정보 泄漏를 방지하기 위해 조건부 입력에 마스킹 전략을 적용하지만, 저자들은 이 방법이 완전히 잘못된 데이터를 제거하지 못할 수 있음을 언급한다.
• 추론 속도를 향상시키기 위해 디노이징 단계 수를 최적화하고, Transformer 아키텍처의 병렬 계산 능력을 활용한다.

실험 결과

연구 질문

• RQ1 확산 확률 모델은 희박하고 불규칙하게 샘플링된 ICU 생체신호 데이터의 시간적 종속성을 효과적으로 포착할 수 있는가?
• RQ2 RNN 기반 또는 어텐션 전용 모델 대비, Transformer 백본의 통합이 희박한 시계열에서 예측 성능을 어떻게 향상시키는가?
• RQ3 삼중체 기반 입력 설계는 예측 희박한 생체신호에서 노이즈를 얼마나 줄이고 신호 대 노이즈 비율을 향상시키는가?
• RQ4 TDSTF는 CSDI, MQ-RNN, DeepAR와 같은 최고 수준의 모델들과 비교해 정확도와 추론 속도에서 어떻게 성능을 냈는가?
• RQ5 목표 데이터가 누락된 상태에서도 갑작스러운 생리적 변화(예: 빈맥, 저혈압)를 탐지할 수 있는가? 이는 강력한 표현 학습 능력을 시사한다.

주요 결과

• TDSTF는 표준화된 평균 연속 랭크 확률 스코어(SACRPS) 0.4438을 기록하여 최고의 베이스라인 모델 대비 18.9% 향상된 성능을 보였다.
• 모델은 평균 제곱 오차(MSE) 0.4168을 기록하여 최고의 베이스라인 모델 대비 34.3% 감소한 성능을 보였다.
• TDSTF는 최고의 베이스라인 모델 대비 17배 이상 빠른 추론 속도를 기록하여 실시간 적용 가능성에서 뚜렷한 우수성을 보였다.
• 모델은 목표 조건부 데이터가 없을 경우에도 점진적인 추세와 갑작스러운 생리적 변화를 모두 효과적으로 포착하여 강력한 특징 상호관계 학습 능력을 보였다.
• 60개 시간 단위의 삼중체 입력을 사용함으로써 신호 대 노이즈 비율이 향상되었고, CSDI와 비교해 잔여 노이즈 문제로 인한 성능 저하가 덜한 것으로 나타났다.
• 모델의 성능은 HR, SBP, DBP 예측 전반에서 강인했으며, ICU 환경에서의 다양한 생체신호에 대한 일반화 능력을 입증했다.