[論文レビュー] Development and Validation of a Deep Learning Model for Prediction of Severe Outcomes in Suspected COVID-19 Infection

Buch, Aoxiao Zhong+9 more|arXiv (Cornell University)|Mar 21, 2021

COVID-19 diagnosis using AI参考文献 20被引用数 4

ひとこと要約

本研究では、救急外来（ED）受診後24–72時間以内に疑わしいCOVID-19患者の重篤な合併症を予測するため、電子的健康記録（EHR）データと胸部X線（CXR）画像を統合した深層学習モデルCO-RISKを開発・検証した。モデルは24時間後にAUC 0.95を達成し、73時間後には0.92を記録し、集中治療室（ICU）／病棟への分類意思決定において臨床的リスクスコアや医師の判断を上回った。

ABSTRACT

COVID-19 patient triaging with predictive outcome of the patients upon first present to emergency department (ED) is crucial for improving patient prognosis, as well as better hospital resources management and cross-infection control. We trained a deep feature fusion model to predict patient outcomes, where the model inputs were EHR data including demographic information, co-morbidities, vital signs and laboratory measurements, plus patient's CXR images. The model output was patient outcomes defined as the most insensitive oxygen therapy required. For patients without CXR images, we employed Random Forest method for the prediction. Predictive risk scores for COVID-19 severe outcomes ("CO-RISK" score) were derived from model output and evaluated on the testing dataset, as well as compared to human performance. The study's dataset (the "MGB COVID Cohort") was constructed from all patients presenting to the Mass General Brigham (MGB) healthcare system from March 1st to June 1st, 2020. ED visits with incomplete or erroneous data were excluded. Patients with no test order for COVID or confirmed negative test results were excluded. Patients under the age of 15 were also excluded. Finally, electronic health record (EHR) data from a total of 11060 COVID-19 confirmed or suspected patients were used in this study. Chest X-ray (CXR) images were also collected from each patient if available. Results show that CO-RISK score achieved area under the Curve (AUC) of predicting MV/death (i.e. severe outcomes) in 24 hours of 0.95, and 0.92 in 72 hours on the testing dataset. The model shows superior performance to the commonly used risk scores in ED (CURB-65 and MEWS). Comparing with physician's decisions, CO-RISK score has demonstrated superior performance to human in making ICU/floor decisions.

研究の動機と目的

• 救急外来における疑わしいCOVID-19患者の早期トリージュを改善するため、気管装着や死亡などの重篤な予後を予測すること。
• 人口統計、合併症、生命徴、検査結果などのEHR（人口統計、合併症、生命徴、検査結果）とCXR画像のマルチモーダルデータを統合し、統一された予測モデルを構築すること。
• 医療現場におけるリソース配分および感染対策を支援する、臨床的行動可能なリスクスコア（CO-RISK）を開発すること。
• 標準的な臨床的リスクスコア（CURB-65、MEWS）および医師の判断と比較して、モデルの性能を検証すること。
• CXR画像が入手できない患者において、モデルの頑健性を評価するため、ランダムフォレストの代替手法を用いること。

提案手法

• EHRおよびCXRデータを統合して、重篤な合併症の予測を目的とした深層特徴統合モデルを訓練した。
• CXR画像が入手できない患者に対しては、予測能力を維持するため、ランダムフォレストモデルをフォールバックとして用いた。
• 2020年3月1日から6月1日までにマサチューセッツ・ジェネラル・ブリジストン医療システムで確認または疑わしいCOVID-19とされた11,060名の患者を対象に、モデルを訓練した。
• CXR画像は畳み込みニューラルネットワーク（CNN）アーキテクチャを用いて処理され、画像所見特徴が抽出され、表形式のEHR特徴と統合された。
• 最終的なCO-RISKスコアは、モデル出力から導出され、臨床的解釈可能性およびリスクスケーリングのための補正が施された。
• モデルの性能は、保留されたテストセットを用いた受信者リポーテージ特性曲線（ROC）下の面積（AUC）を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 EHRとCXRデータを統合した深層学習モデルは、既存の臨床的リスクスコアよりも、気管装着や死亡などの重篤なCOVID-19予後を高い精度で予測できるか？
• RQ2 CO-RISKモデルの性能は、救急外来医師によるICUまたは入院の判断と比較して、どのように異なるか？
• RQ3 CXR画像が入手できない場合のモデルの予測性能はどの程度か？また、フォールバック用のランダムフォレストモデルの性能はいかがなっているか？
• RQ4 画像データの組み込みが、EHRのみのモデルと比較して、予測精度を顕著に向上させるか？
• RQ5 CO-RISKスコアは、病院リソースの最適配分および感染対策のための早期トリージュに、信頼性を持って利用できるか？

主な発見

• CO-RISKモデルは、テストデータセットにおいて、救急外来受診後24時間以内に重篤な予後（機械的換気・死亡）を予測するAUCが0.95に達した。
• 72時間後にはAUCが0.92を維持し、時間経過に伴う高い予測精度の持続性を示した。
• モデルは、CURB-65およびMEWSの臨床的リスクスコアよりも、重篤な予後を予測する上で顕著に優れていた。
• CO-RISKは、ICU入室を要する患者と一般病棟入院を要する患者を区別する点で、医師によるトリージュ意思決定を上回る性能を示した。
• CXR画像が入手できない患者に対しても、フォールバック用のランダムフォレスト手法を用いて、高い性能を維持した。
• 本研究では、EHRと画像データのマルチモーダル統合が、重篤なCOVID-19予後の早期予測を強化することを確認した。