[論文レビュー] A Transformer-based Diffusion Probabilistic Model for Heart Rate and Blood Pressure Forecasting in Intensive Care Unit

Ping Chang, Huayu Li+5 more|arXiv (Cornell University)|Jan 16, 2023

Hemodynamic Monitoring and TherapyMedicine被引用数 3

ひとこと要約

本稿では、希な間欠的バイタルサインデータを用いてICU患者の心拍数および血圧を予測する、Transformerベースの拡散確率モデルTDSTFを提案する。三重項ベースの入力機構とTransformerバックボーンを活用することで、最良のベースライン比でSACRPSが18.9%低く、MSEが34.3%低く、推論速度は17倍以上速い、最先端の性能を達成した。

ABSTRACT

Background and Objective: Vital sign monitoring in the Intensive Care Unit (ICU) is crucial for enabling prompt interventions for patients. This underscores the need for an accurate predictive system. Therefore, this study proposes a novel deep learning approach for forecasting Heart Rate (HR), Systolic Blood Pressure (SBP), and Diastolic Blood Pressure (DBP) in the ICU. Methods: We extracted $24,886$ ICU stays from the MIMIC-III database which contains data from over $46$ thousand patients, to train and test the model. The model proposed in this study, Transformer-based Diffusion Probabilistic Model for Sparse Time Series Forecasting (TDSTF), merges Transformer and diffusion models to forecast vital signs. The TDSTF model showed state-of-the-art performance in predicting vital signs in the ICU, outperforming other models' ability to predict distributions of vital signs and being more computationally efficient. The code is available at https://github.com/PingChang818/TDSTF. Results: The results of the study showed that TDSTF achieved a Standardized Average Continuous Ranked Probability Score (SACRPS) of $0.4438$ and a Mean Squared Error (MSE) of $0.4168$, an improvement of $18.9\%$ and $34.3\%$ over the best baseline model, respectively. The inference speed of TDSTF is more than $17$ times faster than the best baseline model. Conclusion: TDSTF is an effective and efficient solution for forecasting vital signs in the ICU, and it shows a significant improvement compared to other models in the field.

研究の動機と目的

• 希な間欠的モニタリングにもかかわらず、ICU患者の心拍数（HR）、収縮期血圧（SBP）、拡張期血圧（DBP）を正確に予測する深層学習モデルの開発を目的とする。
• 連続的データに依存する既存のモデルが、介入や合併症といった臨床的文脈を無視するという限界を是正することを目的とする。
• 拡散確率モデルとTransformerベースのアーキテクチャを統合することで、希な時系列データにおける予測性能を向上させることを目的とする。
• リアルタイムの臨床現場への適用を想定した計算効率の向上を目的とする。
• 大規模なICUデータセット（MIMIC-III）を用いてモデルを評価し、多様な患者集団にわたる一般化性と頑健性を示すこと。

提案手法

• TDSTFは、拡散確率フレームワークとTransformerベースのバックボーンを組み合わせ、希なバイタルサイン系列における複雑な時系列依存性をモデル化する。
• 条件付き観測値、ノイズ、時刻ステップを符号化する三重項ベースの入力表現を採用し、信号対ノイズ比を向上させ、入力のばらつきを低減する。
• 拡散プロセスは逆マルコフ連鎖を用いて段階的にノイズを除去し、変形U-NetにTransformerエンコーダーを組み合わせてバイタルサインの潜在分布を学習する。
• 変分下界の目的関数を用いてエンドツーエンドに訓練し、ノイズ除去プロセスの再構成誤差を最小化する。
• 情報漏洩を防ぐために条件付き入力にマスキング戦略を適用しているが、著者らはこれが完全に不正なデータを除外しない可能性を指摘している。
• 推論の高速化は、ノイズ除去ステップ数の最適化と、Transformerアーキテクチャの並列計算能力の活用によって実現している。

実験結果

リサーチクエスチョン

• RQ1 拡散確率モデルは、希で不規則にサンプリングされたICUバイタルサインデータの時系列依存性を効果的に捉えることができるか？
• RQ2 RNNベースやアテンションオンリーモデルと比較して、Transformerバックボーンの統合が希な時系列データにおける予測性能をどのように向上させるか？
• RQ3 三重項ベースの入力設計は、希なバイタルサインの予測において、ノイズをどれほど低減し、信号対ノイズ比を向上させるか？
• RQ4 CSDI、MQ-RNN、DeepARといった最先端モデルと比較して、TDSTFはICUバイタルサイン予測タスクにおいて精度と推論速度の両面で優れているか？
• RQ5 ターゲットデータが欠損している場合でも、突然の生理的変化（例：頻脈、低血圧）を検出できるか。これは、強力な表現学習の証左である。

主な発見

• TDSTFは、標準化された連続予測確率スコア（SACRPS）を0.4438で達成し、最良のベースライン比で18.9%の改善を示した。
• 平均二乗誤差（MSE）は0.4168を記録し、最良のベースライン比で34.3%の低減を達成した。
• TDSTFは最良のベースライン比で17倍以上も高速な推論速度を実現し、リアルタイム適用への可能性を著しく高めた。
• モデルは、ターゲットの条件付きデータが欠損している場合でも、徐々に変化するトレンドと突然の生理的変化の両方を的確に捉えた。これは、強力な特徴間関係学習の証左である。
• 60時刻ステップの三重項入力の使用により、信号対ノイズ比が向上し、CSDIに比べてノイズの残存が少ないことが確認された。
• HR、SBP、DBPの予測において、モデルの性能は一貫しており、ICU環境下での複数バイタルサインへの一般化能力を示した。