[論文レビュー] Time Series Modeling for Heart Rate Prediction: From ARIMA to Transformers

Haowei Ni, Shuchen Meng+6 more|arXiv (Cornell University)|Jun 18, 2024

Non-Invasive Vital Sign Monitoring被引用数 4

ひとこと要約

本研究では、MIT-BIH データベースを用いた心拍予測において、従来の時系列モデル（ARIMA、Prophet）と深層学習アーキテクチャ（LSTM、TCN、TSMixer、トランスフォーマー）を比較している。トランスフォーマーに基づくモデル、特にPatchTSTは、誤差指標が低く、生体時系列データに内在する複雑な時系列的依存関係と非線形パターンを捉える能力に優れ、他のすべてのモデルを大きく上回る精度を示した。

ABSTRACT

Cardiovascular disease (CVD) is a leading cause of death globally, necessitating precise forecasting models for monitoring vital signs like heart rate, blood pressure, and ECG. Traditional models, such as ARIMA and Prophet, are limited by their need for manual parameter tuning and challenges in handling noisy, sparse, and highly variable medical data. This study investigates advanced deep learning models, including LSTM, and transformer-based architectures, for predicting heart rate time series from the MIT-BIH Database. Results demonstrate that deep learning models, particularly PatchTST, significantly outperform traditional models across multiple metrics, capturing complex patterns and dependencies more effectively. This research underscores the potential of deep learning to enhance patient monitoring and CVD management, suggesting substantial clinical benefits. Future work should extend these findings to larger, more diverse datasets and real-world clinical applications to further validate and optimize model performance.

研究の動機と目的

• ARIMA や Prophet といった従来の時系列モデルが、ノイズが多く、疎らで、著しく変動する医療用時系列データを処理する際の限界を克服すること。
• LSTM、TCN、TSMixer、およびトランスフォーマーに基づくアーキテクチャを含む深層学習モデルの、MIT-BIH データベースからの心拍予測における性能を評価すること。
• 臨床的関連性の高い時系列設定において、高い精度と頑健性を示す心拍動態予測に最も効果的なモデルアーキテクチャを特定すること。
• 生体時系列データにおける複雑な時系列的依存関係を捉える能力において、トランスフォーマーに基づくモデルの優位性を実証的根拠で示すこと。
• 将来のバイオメディカル時系列予測研究のベンチマークを確立し、患者モニタリングや早期介入における臨床応用を支援すること。

提案手法

• 本研究では、MIT-BIH 頻拍症候群データベースに収録された4名の被験者からの心拍時系列データを用い、各シーケンスは7〜15分の長さである。
• 従来のモデル（ARIMA、Prophet）は、標準的なハイパーパrameter設定を用い、手動によるチューニングと季節的分解に依存している。
• 深層学習モデルには、LSTM、TCN、TSMixer、およびPatchTST、iTransformer、TimesNet などのトランスフォーマーに基づくアーキテクチャが含まれ、すべてが生の時系列データに対してエンドツーエンドで訓練されている。
• モデルの評価には、RMSE、MAE、MAPE といった標準的な指標が用いられ、時系列の順序を保持する形で訓練／検証／テストに分割されている。
• トランスフォーマーの自己注意機構により、時系列的依存関係に対する動的重み付けが可能となり、長距離パターン認識が向上している。
• PatchTST は、パッチ化に基づく入力表現と簡素化されたトランスフォーマー符号化器を採用しており、順序付きデータにおける効率性と性能が向上している。

Figure 1 : T1 Heart Rate time series.

実験結果

リサーチクエスチョン

• RQ1 ARIMA や Prophet といった従来の統計モデルは、臨床データベースの短いノイズの多い心拍時系列データに対して、どの程度の性能を示すか？
• RQ2 LSTM や TCN、TSMixer といった深層学習モデルは、従来手法に比べて心拍予測の精度をどの程度向上させるか？
• RQ3 PatchTST や iTransformer、TimesNet といったトランスフォーマーに基づくアーキテクチャは、従来手法および非トランスフォーマーの深層学習モデルを著しく上回るか？
• RQ4 特に自己注意機構とパッチベース処理の設計が、生体時系列予測におけるモデル性能に与える影響は何か？
• RQ5 トランスフォーマーに基づくモデルは、実世界の患者モニタリング環境における複雑で非線形的なダイナミクスに一般化可能か？

主な発見

• PatchTST は、すべてのモデルの中で最小の RMSE と MAE を達成し、心拍動態の予測において優れた性能を示した。
• iTransformer は PatchTST に次いで高い精度を示し、すべてのテストシーケンスにおいて真値に非常に近い予測値を出力していた。
• TCN と TSMixer は強く性能を示したが、上位のトランスフォーマー系モデルに比べてわずかに誤差の範囲が広がっていた。
• LSTM は他の深層学習モデルに比べて予測のばらつきが大きかったが、依然として ARIMA や Prophet を上回っていた。
• 従来のモデル（ARIMA と Prophet）は、最も高い誤差率を示し、特に非定常的またはノイズの強いセグメントでは真の心拍値から著しく逸脱していた。
• 可視化比較により、特に PatchTST と iTransformer といったトランスフォーマー系モデルが、真値と整合的で滑らかで高精度な予測を生成していることが確認された。

Figure 2 : Prophet fit over the entire T1 dataset. The actual fit is depicted in light blue, the trend function is represented by a red line, and the trend changepoints are marked by red dashed vertical lines.