[論文レビュー] Integrating Physiological Time Series and Clinical Notes with Transformer for Early Prediction of Sepsis

Yuqing Wang, Yun Zhao+2 more|arXiv (Cornell University)|Mar 28, 2022

Machine Learning in Healthcare被引用数 6

ひとこと要約

本論文は、ICU入室後36時間以内の早期膿毒症予測を目的として、多次元生理時系列データと臨床ノートを統合するマルチモーダルトランスフォーマーモデルを提案する。臨床ノートはClinicalBERTを用いて処理され、生理的データは時系列エンコーダーによって処理される。MIMIC-IIIおよびeICU-CRDで最先端の性能を達成し、6つのベースラインをすべての指標で上回り、eICU-CRDにおける36時間時点のAUROCは0.882を記録した。

ABSTRACT

Sepsis is a leading cause of death in the Intensive Care Units (ICU). Early detection of sepsis is critical for patient survival. In this paper, we propose a multimodal Transformer model for early sepsis prediction, using the physiological time series data and clinical notes for each patient within $36$ hours of ICU admission. Specifically, we aim to predict sepsis using only the first 12, 18, 24, 30 and 36 hours of laboratory measurements, vital signs, patient demographics, and clinical notes. We evaluate our model on two large critical care datasets: MIMIC-III and eICU-CRD. The proposed method is compared with six baselines. In addition, ablation analysis and case studies are conducted to study the influence of each individual component of the model and the contribution of each data modality for early sepsis prediction. Experimental results demonstrate the effectiveness of our method, which outperforms competitive baselines on all metrics.

研究の動機と目的

• 入院時における多様なEHRデータモダリティ（生理的時系列と非構造化臨床ノート）を統合することで、ICU内での早期膿毒症予測を改善すること。
• 単一モダリティアプローチにおけるデータの不均一性と欠損情報の課題に対処すること。
• 時間的ダイナミクスと臨床的文脈を同時に捉える統一されたディープラーニングフレームワークの開発。
• 実世界の集中治療ケアデータセットを用いた、単一モダリティおよびマルチモーダルベースラインとの比較によるモデルの優位性の検証。
• 臨床ノートのアテンションメカニズムと生理的データの特徴分布の分析を通じて、解釈可能性の向上。

提案手法

• マルチモーダルトランスフォーマーエンコーダーは、それぞれのエンコーダーを用いて多次元生理的時系列（MPTS）と臨床ノートを処理する。
• 生理的時系列は学習可能な位置エンコーディングを経て、時間的パターンを保持するためのフィードフォワードネットワークによって埋め込まれる。
• 臨床ノートは、医師および看護師のノートから文脈に即した表現を捉えるために微調整されたClinicalBERTによってエンコードされる。
• クロスアテンション機構により、異なるモダリティ間で関連する情報を注目できるようになり、臨床的文脈と生理的傾向の統合が可能になる。
• 最終的な表現はプーリングされ、分類ヘッドを経て、ICU入室後12～36時間以内の膿毒症状態を予測する。
• クラスの不均衡に対処するため、バイナリクロスエントロピー損失とクラスウェイトを用いて、MIMIC-IIIおよびeICU-CRD上でエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルトランスフォーマーモデルは、生理的時系列と臨床ノートを効果的に統合し、早期膿毒症予測を改善できるか？
• RQ2 生理的データと臨床ノートの個々の寄与度は、予測性能においてどのように比較できるか？
• RQ3 モダリティ統合が単一モダリティベースラインと比較して、モデル性能に与える影響は何か？
• RQ4 臨床ノートにおけるアテンションメカニズムは、膿毒症予後に関連する臨床的パターンをどのように反映しているか？
• RQ5 膿毒症と非膿毒症患者を区別する特徴的な生理的特徴は何か？また、それらは予測にどのように寄与しているか？

主な発見

• 提案されたマルチモーダルモデル（PTSM + CNM）は、eICU-CRDデータセットにおいて36時間時点でAUROC 0.882 ± 0.004を達成し、6つのベースラインをすべて上回った。
• eICU-CRDにおいて36時間時点でF1スコア0.857 ± 0.003を記録し、高精度と再現率のバランスが取れていることを示した。
• アブレーションスタディにより、生理的および臨床的モダリティが重複しない独自の情報を提供しており、両者を組み合わせることで性能が向上することが確認された。
• アテンション可視化により、膿毒症患者の臨床ノートに「非常に痛みが強い」や「背中の痛み」などの解釈可能な膿毒症関連キーワードが含まれていることが判明した。一方、「安定している」や「良好な状態」といった表現は非膿毒症を示唆していた。
• 生理的特徴の密度プロットは、膿毒症患者と非膿毒症患者で明確に異なる分布を示しており、一部の特徴（例：ラクタート、MAP）は非常に判別力が高く、ノートに記録されていないことがわかった。
• 単一モダリティモデルが誤分類した患者を正しく分類できたため、複雑で補完的な信号を捉えるためにマルチモーダル統合の価値が示された。