[論文レビュー] Integrating Physiological Time Series and Clinical Notes with Deep Learning for Improved ICU Mortality Prediction

Satya Narayan Shukla, Benjamin M. Marlin|arXiv (Cornell University)|Mar 24, 2020

Machine Learning in Healthcare参考文献 28被引用数 7

ひとこと要約

本論文は、ICU EHRから得られる臨床ノートと不規則にサンプリングされた生理的時系列データを統合する、ラテン統合型ディープラーニングモデルを提案し、入院中の死亡予測を向上させることを目的としている。補間予測ネットワークとTF-IDFまたはワード埋め込みベースのテキスト表現を用いることで、ラテン統合が単一モダリティモデルを著しく上回ることを示しており、AUCの向上が統計的に有意である（p < 0.001）。

ABSTRACT

Intensive Care Unit Electronic Health Records (ICU EHRs) store multimodal data about patients including clinical notes, sparse and irregularly sampled physiological time series, lab results, and more. To date, most methods designed to learn predictive models from ICU EHR data have focused on a single modality. In this paper, we leverage the recently proposed interpolation-prediction deep learning architecture(Shukla and Marlin 2019) as a basis for exploring how physiological time series data and clinical notes can be integrated into a unified mortality prediction model. We study both early and late fusion approaches and demonstrate how the relative predictive value of clinical text and physiological data change over time. Our results show that a late fusion approach can provide a statistically significant improvement in mortality prediction performance over using individual modalities in isolation.

研究の動機と目的

• 臨床ノートと生理的時系列データを統合して、ICUの死亡予測を向上させることの可能性を調査すること。
• 入院後、時間の経過とともに臨床的テキストと生理的データの相対的な予測価値がどのように変化するかを分析すること。
• マルチモーダルICU EHRデータにおける早期統合とラテン統合戦略を評価すること。
• 入院時以降のプログレスノートを統合することで、予測性能が向上するかどうかを特定すること。
• 再サンプリングと仮説検定を用いて、融合モデルの改善がベースラインと比較して統計的に有意であるかどうかを検証すること。

提案手法

• 疎で不規則にサンプリングされた生理的時系列データをモデリングするため、補間予測ディープラーニングアーキテクチャを採用している。
• 臨床ノートはTF-IDF、Bag-of-Words、GloVe埋め込み、および単語ベクトルの平均による文レベル埋め込みを用いて表現している。
• 早期統合は、最終予測の前にテキストと時系列表現を連結することで行い、ラテン統合は、別々のモダリティヘッドからの予測を統合することで実現している。
• 順序付き臨床テキストおよび時系列データを処理するために、再帰的ネットワーク（LSTM）と1次元畳み込みネットワークを適用している。
• ワード埋め込み技術（例：GloVe）およびトピックモデリングを用いて、非構造化臨床ノートから意味的特徴を抽出している。
• 交差検証を5分割し、ランダムな訓練・検証・テスト分割を用いることで、評価の堅牢性と統計的有意性の検証を確保している。

実験結果

リサーチクエスチョン

• RQ1 入院時における臨床ノートの予測価値は、ICU入室後48時間以内に生理的時系列データの予測価値と比較してどうなるか？
• RQ2 臨床ノートと生理的時系列データをラテン統合することで、早期統合や単一モダリティモデルと比較して死亡予測性能が向上するか？
• RQ3 入院時以降のプログレスノートを含めることで、入院時ノートのみを用いたモデルと比較して、モデルの性能はどのように変化するか？
• RQ4 融合モデルの性能向上が、個々のモダリティベースラインと比較して統計的に有意であるか？
• RQ5 時間の経過とともに、各モダリティの予測力は、より多くのデータが利用可能になるにつれてどのように変化するか？

主な発見

• ラテン統合アプローチは、時系列データのみ、およびテキストのみのベースラインと比較して、統計的に有意なAUCの向上を達成している（p < 0.001）。
• ラテン統合モデルの性能は、すべての時間点でテキストのみのベースラインを常に上回っており、より多くのデータが組み込まれるにつれてその差が拡大している。
• 早期統合モデルは、初期段階ではテキストのみのTF-IDFベースラインを下回るが、時間の経過とともにそれを上回るようになるため、早期統合には遅延した利点があることが示唆されている。
• 入院時のみの臨床的テキストの予測優位性は、時間の経過とともに、より多くの生理的データが利用可能になるにつれて低下する。
• 入院時以降のプログレスノートを統合することで、モデルの性能が顕著に向上し、入院時データのみを用いたモデルと比較して、融合モデルが優れた性能を示している。
• 融合モデルの性能は、生理的データとテキストデータの両方が追加されるに従い、着実に向上しており、縦断的マルチモーダル統合の価値が示されている。