[논문 리뷰] Time Series Modeling for Heart Rate Prediction: From ARIMA to Transformers

Haowei Ni, Shuchen Meng외 6명|arXiv (Cornell University)|2024. 06. 18.

Non-Invasive Vital Sign Monitoring인용 수 4

한 줄 요약

이 연구는 MIT-BIH 데이터베이스를 사용하여 심박수 예측을 위해 전통적인 시계열 모델(ARIMA, Prophet)과 딥러닝 아키텍처(LSTM, TCN, TSMixer, 트랜스포머 포함)를 비교한다. 트랜스포머 기반 모델, 특히 PatchTST가 정확도에서 모든 모델을 압도적으로 뛰어넘으며, 복잡한 시간적 의존성과 비선형 패턴을 낮은 오차 지표로 잘 포착한다.

ABSTRACT

Cardiovascular disease (CVD) is a leading cause of death globally, necessitating precise forecasting models for monitoring vital signs like heart rate, blood pressure, and ECG. Traditional models, such as ARIMA and Prophet, are limited by their need for manual parameter tuning and challenges in handling noisy, sparse, and highly variable medical data. This study investigates advanced deep learning models, including LSTM, and transformer-based architectures, for predicting heart rate time series from the MIT-BIH Database. Results demonstrate that deep learning models, particularly PatchTST, significantly outperform traditional models across multiple metrics, capturing complex patterns and dependencies more effectively. This research underscores the potential of deep learning to enhance patient monitoring and CVD management, suggesting substantial clinical benefits. Future work should extend these findings to larger, more diverse datasets and real-world clinical applications to further validate and optimize model performance.

연구 동기 및 목표

• ARIMA와 Prophet와 같은 전통적 시계열 모델이 노이즈가 많고 흐릿하며 매우 변동성이 큰 의료 시계열 데이터를 다루는 데에 한계가 있다는 문제를 해결하기 위해.
• LSTM, TCN, TSMixer 및 트랜스포머 기반 아키텍처를 포함한 딥러닝 모델의 성능을 MIT-BIH 데이터베이스에서의 심박수 예측에 대해 평가하기 위해.
• 임상적으로 유의미한 시계열 환경에서 높은 정확도와 강건성을 갖춘 심박수 동역학 예측에 가장 효과적인 모델 아키텍처를 특정하기 위해.
• 생리학적 시계열에서 복잡한 시간적 의존성을 포착하는 데서 트랜스포머 기반 모델의 우월성을 실증적 증거로 제시하기 위해.
• 향후 생물의학적 시계열 예측 연구를 위한 벤치마크를 설정하고 환자 모니터링 및 조기 간병 응용 분야를 지원하기 위해.

제안 방법

• 연구는 MIT-BIH 심 arrhythmia 데이터베이스의 네 명의 환자에서 얻은 심박수 시계열 데이터를 사용하며, 시퀀스 길이는 7분에서 15분 사이이다.
• 전통적 모델(ARIMA, Prophet)은 표준 하이퍼파라미터 설정을 사용하며, 수동 튜닝과 계절성 분해에 의존한다.
• 딥러닝 모델은 LSTM, TCN, TSMixer 및 PatchTST, iTransformer, TimesNet와 같은 트랜스포머 기반 아키텍처를 포함하며, 원시 시계열 데이터에 대해 엔드 투 엔드로 훈련된다.
• 모델 평가는 RMSE, MAE, MAPE와 같은 표준 지표를 사용하며, 시간 순서를 유지하는 훈련/검증/테스트 분할 전략을 적용한다.
• 트랜스포머 모델의 자체주의 메커니즘은 시간적 의존성을 동적으로 가중함으로써 장거리 패턴 인식을 향상시킨다.
• PatchTST는 패치 기반 입력 표현 방식과 간소화된 트랜스포머 인코더를 사용하여 순차적 데이터에 대한 효율성과 성능을 향상시킨다.

Figure 1 : T1 Heart Rate time series.

실험 결과

연구 질문

• RQ1 ARIMA와 Prophet와 같은 전통적 통계 모델은 임상 데이터베이스에서의 짧고 노이즈가 많은 심박수 시계열에 대해 어떻게 성능을 보이는가?
• RQ2 LSTM, TCN, TSMixer와 같은 딥러닝 모델은 심박수 예측에서 전통적 모델에 비해 예측 정확도를 얼마나 향상시키는가?
• RQ3 PatchTST, iTransformer, TimesNet와 같은 트랜스포머 기반 아키텍처는 전통적 모델과 비트랜스포머 딥러닝 모델 모두를 뛰어넘는가?
• RQ4 특히 자기주의와 패치 기반 처리 방식을 포함한 아키텍처 설계가 생리학적 시계열 예측 성능에 어떤 영향을 미치는가?
• RQ5 트랜스포머 기반 모델은 실제 환자 모니터링 시나리오에서 복잡하고 비선형적인 동역학에 일반화될 수 있는가?

주요 결과

• PatchTST는 모든 모델 중에서 가장 낮은 RMSE와 MAE를 기록하여 심박수 동역학 예측에서 뛰어난 성능을 보였다.
• iTransformer는 정확도에서 PatchTST에 이어졌으며, 모든 테스트 시퀀스에서 진짜 값과 매우 가까운 예측을 보였다.
• TCN과 TSMixer는 강력한 성능를 보였지만, 상위 트랜스포머 모델들에 비해 약간 더 높은 오차 범위를 보였다.
• LSTM은 다른 딥러닝 모델들에 비해 예측의 변동성이 더 높았지만, 여전히 ARIMA와 Prophet를 능가했다.
• 전통적 모델(ARIMA와 Prophet)은 가장 높은 오차율을 보였으며, 비정상적이거나 노이즈가 많은 세그먼트에서 진짜 심박수 값과의 편차가 크게 나타났다.
• 시각적 비교 결과, 특히 PatchTST와 iTransformer를 포함한 트랜스포머 기반 모델이 진짜 값과 일치하는 더 매끄럽고 정확한 예측을 생성함을 확인했다.

Figure 2 : Prophet fit over the entire T1 dataset. The actual fit is depicted in light blue, the trend function is represented by a red line, and the trend changepoints are marked by red dashed vertical lines.