[論文レビュー] Improving Early Sepsis Prediction with Multi Modal Learning

Fred Qin, Vivek Madan+5 more|arXiv (Cornell University)|Jul 23, 2021

Machine Learning in Healthcare参考文献 28被引用数 6

ひとこと要約

本論文は、BERTおよびAmazon Comprehend Medicalを用いて、構造化された生命徴収データと臨床テキスト（例：医師および看護師のノート）を統合するマルチモーダル深層学習モデルを提案する。臨床テキストからの文脈的埋め込みを活用することで、ベースライン手法に比べて予測の有効性が6.07ポイント向上し、AUROCが2.89%向上し、qSOFAやPhysioNet 2019コンテスト優勝モデルを上回る性能を示した。

ABSTRACT

Sepsis is a life-threatening disease with high morbidity, mortality and healthcare costs. The early prediction and administration of antibiotics and intravenous fluids is considered crucial for the treatment of sepsis and can save potentially millions of lives and billions in health care costs. Professional clinical care practitioners have proposed clinical criterion which aid in early detection of sepsis; however, performance of these criterion is often limited. Clinical text provides essential information to estimate the severity of the sepsis in addition to structured clinical data. In this study, we explore how clinical text can complement structured data towards early sepsis prediction task. In this paper, we propose multi modal model which incorporates both structured data in the form of patient measurements as well as textual notes on the patient. We employ state-of-the-art NLP models such as BERT and a highly specialized NLP model in Amazon Comprehend Medical to represent the text. On the MIMIC-III dataset containing records of ICU admissions, we show that by using these notes, one achieves an improvement of 6.07 points in a standard utility score for Sepsis prediction and 2.89% in AUROC score. Our methods significantly outperforms a clinical criteria suggested by experts, qSOFA, as well as the winning model of the PhysioNet Computing in Cardiology Challenge for predicting Sepsis.

研究の動機と目的

• 電子健康記録（EHR）における非構造化臨床テキストと構造化された生理的データを統合することで、早期sepsis予測を向上させること。
• 最先端のNLPモデルが、従来の臨床スコアリングシステムを上回ってsepsis予測を改善できるかどうかを評価すること。
• 構造化データにのみ依存するベースラインと比較して、BERTおよび専用医療NLPツールを用いたマルチモーダルモデルの性能を比較すること。
• テキスト特徴量が、集中治療科環境におけるモデルの解釈可能性および予測有効性に与える寄与を評価すること。

提案手法

• モデルはマルチモーダル入力を使用：数値的生理的データ（例：心拍数、血圧）およびEHRからの臨床ノート。
• 臨床テキストは2つのNLPアプローチで処理される：微調整済みBERTとAmazon Comprehend Medicalによるエンティティ抽出および埋め込み。
• テキスト埋め込みは構造化特徴量と連結され、最終予測のために勾配ブースティング木モデル（XGBoost）に供給される。
• モデルはMIMIC-IIIデータセット上で訓練および評価され、sepsis発症の24時間以内に予測が行われる。
• 特徴量の重要性はShapley値を用いて分析され、テキストおよび数値特徴量の寄与度が評価される。
• 主な評価指標として有効性スコアが用いられ、誤検出（偽陰性）に対してより高いペナルティが課される。

実験結果

リサーチクエスチョン

• RQ1 非構造化臨床テキストをマルチモーダルモデルに統合することで、構造化データにのみ依存するモデルと比較して、早期sepsis予測性能が顕著に向上するか？
• RQ2 特にBERTとAmazon Comprehend Medicalという異なるNLP技術は、sepsis予測に向けた臨床ノートからの意味的表現を抽出する上で、どのように比較されるか？
• RQ3 テキスト特徴量の統合が、有効性スコアやAUROCといった臨床的関連指標に顕著な改善をもたらすか？
• RQ4 特徴量の重要性分析によって測定されるモデルの解釈可能性および予測の信頼性に、テキスト特徴量がどの程度寄与するか？
• RQ5 提案されたモデルは、qSOFAなどの熟練医が設計した臨床基準や、過去のコンテストで優勝した機械学習モデルを上回ることができるか？

主な発見

• 臨床テキストを統合したマルチモーダルモデルは、構造化データのみを用いたベースラインモデルと比較して、標準有効性スコアで6.07ポイントの向上を達成した。
• モデルはベースラインに比べてAUROCを2.89%向上させ、septic患者と非septic患者の区別能力が向上した。
• 本モデルは、臨床で広く使用されているが早期sepsis検出において感度が低いことで知られるqSOFA臨床基準を上回った。
• テキスト特徴量は予測に最も影響を与える要因の3番目に高い寄与度を示し、Shapley値分析によりモデル出力に顕著な影響を与えることが示された。
• 構造化データのみを用いたMIMIC-IIIコンテスト優勝ソリューションを上回った。
• 非septic患者の誤検出率が比較的高い（約30%）ものの、高い再現率と低い偽陰性率が有効性スコアで高く評価され、臨床的優先順位を反映していた。