[論文レビュー] All Data Inclusive, Deep Learning Models to Predict Critical Events in the Medical Information Mart for Intensive Care III Database (MIMIC III)

Anubhav Reddy Nallabasannagari, Madhu Reddiboina+4 more|arXiv (Cornell University)|Sep 2, 2020

Machine Learning in Healthcare参考文献 32被引用数 8

ひとこと要約

本研究では、自然言語処理を用いてMIMIC-III ICUデータベースの利用可能なすべてのデータソース（構造化および非構造化）を統合し、入院中の死亡（IHM）および7日以上の滞在期間（LOS）を予測する深層学習モデルを開発した。全データソース（AS）を用いて訓練したモデルは、IHMのAUC-ROCが0.9178、LOSのAUC-ROCが0.8806を達成し、チャートデータのみを用いたモデル（CS）を著しく上回り、包括的な電子歴史記録（EHR）統合が、重症ケアの予測的精度を向上させることを示した。

ABSTRACT

Intensive care clinicians need reliable clinical practice tools to preempt unexpected critical events that might harm their patients in intensive care units (ICU), to pre-plan timely interventions, and to keep the patient's family well informed. The conventional statistical models are built by curating only a limited number of key variables, which means a vast unknown amount of potentially precious data remains unused. Deep learning models (DLMs) can be leveraged to learn from large complex datasets and construct predictive clinical tools. This retrospective study was performed using 42,818 hospital admissions involving 35,348 patients, which is a subset of the MIMIC-III dataset. Natural language processing (NLP) techniques were applied to build DLMs to predict in-hospital mortality (IHM) and length of stay >=7 days (LOS). Over 75 million events across multiple data sources were processed, resulting in over 355 million tokens. DLMs for predicting IHM using data from all sources (AS) and chart data (CS) achieved an AUC-ROC of 0.9178 and 0.9029, respectively, and PR-AUC of 0.6251 and 0.5701, respectively. DLMs for predicting LOS using AS and CS achieved an AUC-ROC of 0.8806 and 0.8642, respectively, and PR-AUC of 0.6821 and 0.6575, respectively. The observed AUC-ROC difference between models was found to be significant for both IHM and LOS at p=0.05. The observed PR-AUC difference between the models was found to be significant for IHM and statistically insignificant for LOS at p=0.05. In this study, deep learning models were constructed using data combined from a variety of sources in Electronic Health Records (EHRs) such as chart data, input and output events, laboratory values, microbiology events, procedures, notes, and prescriptions. It is possible to predict in-hospital mortality with much better confidence and higher reliability from models built using all sources of data.

研究の動機と目的

• 電子歴史記録（EHR）に含まれる利用可能なすべての構造化および非構造化データを活用した深層学習モデルを構築し、重症ケアの重要なアウトカムを予測すること。
• 全データソース（AS）で訓練したモデルが、チャートイベントのみで訓練したモデル（CS）よりも、入院中の死亡（IHM）および7日以上の滞在期間（LOS）を予測する際に優れているかどうかを評価すること。
• 自然言語処理（NLP）を用いて非構造化臨床ノート、検査結果、手術、薬剤情報などを統合することで、予測性能が向上することを実証すること。
• 手動で選択された特徴量や固定時間のバインディングを用いない、多様なEHRデータソースを統合するデータエンジニアリングパイプラインを提供すること。
• 包括的かつ現実世界のEHRデータを活用した次世代の臨床意思決定支援ツールの基盤を構築すること。

提案手法

• 本研究では、ベス・アイザラ・デイコーン・メディカル・センターの42,818件の入院記録を含むMIMIC-III v1.4データセットを用いた。
• チャートイベント、入出力、検査結果、微生物学的結果、手術、ノート、処方情報といった、すべてのデータソースを統合し、モデル学習用に1つのデータストリームに統合した。
• 自由記述の臨床ノートをユニグラムにトークン化する自然言語処理（NLP）技術を用い、時間的イベントの順序を保持した。
• 特徴量工学や固定時間のビン分割を一切行わず、生のイベントシーケンスに対してエンドツーエンドで深層学習モデルを訓練した。
• 2種類のモデルバージョンを比較した：1つは全データソース（AS）を用い、もう1つはチャートイベントのみ（CS）を用いた。
• 性能評価にはAUC-ROCおよびPR-AUCを用い、統計的有意性はp=0.05で評価した。

実験結果

リサーチクエスチョン

• RQ1 全利用可能なEHRデータソースで訓練した深層学習モデルは、チャートデータのみを用いたモデルよりも、入院中の死亡をより正確に予測できるか？
• RQ2 非構造化臨床ノートおよび多様なデータタイプを統合することで、7日以上の滞在期間の予測性能が向上するか？
• RQ3 全データソースを用いた場合の性能向上が、IHMおよびLOSの両アウトカムにおいて統計的に有意であるか？
• RQ4 トークン化されたシーケンスに時間的構造が欠如している場合、モデルの性能にどのような影響があるか、今後のモデリングにどのような示唆があるか？
• RQ5 NLPを用いた多様なEHRデータの統合は、重症ケア分野における予測の信頼性をどの程度向上させ得るか？

主な発見

• 全データソース（AS）で訓練した深層学習モデルは、入院中の死亡（IHM）に対してAUC-ROCが0.9178を達成し、チャートのみのモデル（CS）の0.9029を著しく上回った（p=0.05）。
• IHMの予測において、ASモデルのPR-AUCは0.6251、CSモデルは0.5701であり、統計的に有意な差（p=0.05）を示した。
• 7日以上の滞在期間（LOS）の予測において、ASモデルのAUC-ROCは0.8806、CSモデルは0.8642を示し、有意な差（p=0.05）を示した。
• LOSのPR-AUCは、ASが0.6821、CSが0.6575であり、有意差は認められなかった（p=0.05）。
• 35,348名の患者から得られた7,500万件以上のイベントが処理され、3億5,500万以上のトークンが生成され、データパイプラインのスケーラビリティを示した。
• 本研究では、NLPによる包括的EHR統合が、特に死亡予測において予測性能を著しく向上させることを確認した。特徴量の手動選択に依存せず、優れた性能が得られた。