[論文レビュー] Accuracy of the Epic Sepsis Prediction Model in a Regional Health System

Tellen D. Bennett, Seth Russell+7 more|arXiv (Cornell University)|Feb 19, 2019

Sepsis Diagnosis and Treatment参考文献 2被引用数 5

ひとこと要約

本研究では、5つの病院からなる地域医療システムにおいて、Epic Sepsis Prediction Model（ESPM）の性能を、既存のEarly Warning Score（EWS）システムと比較して評価した。ESPMは電子歴史記録（EHR）データを用いた機械学習モデルであり、AUCが0.73とEWSの0.62を上回り、早期入院段階での敗血症予測において、より高い陽性予測値、再現率、全体的な正確性を示した。

ABSTRACT

Interest in an electronic health record-based computational model that can accurately predict a patient's risk of sepsis at a given point in time has grown rapidly in the last several years. Like other EHR vendors, the Epic Systems Corporation has developed a proprietary sepsis prediction model (ESPM). Epic developed the model using data from three health systems and penalized logistic regression. Demographic, comorbidity, vital sign, laboratory, medication, and procedural variables contribute to the model. The objective of this project was to compare the predictive performance of the ESPM with a regional health system's current Early Warning Score-based sepsis detection program.

研究の動機と目的

• 実世界の地域医療システム環境下におけるEpic Sepsis Prediction Model（ESPM）の予測性能を評価すること。
• 病院で既に導入されているEWSに基づく敗血症検出プログラムと比較して、ESPMの敗血症検出精度を評価すること。
• ESPMのアラートが、ラクタート濃度などの標準的臨床マーカーと比較して、どのタイミングで臨床的に意味のある閾値（≥5）に達するかを評価すること。
• ESPMが現在の臨床実践と比較して、早期敗血症の同定をどのように改善するかを特定すること。

提案手法

• 2017年6月1日から2017年10月20日までの間、UCHealthの5つの病院の入院患者データを用いた後向きコhort研究。
• ESPMは、年齢、生命徴、検査値、薬剤、合併症を含むEHRデータを用いて、2時間ごとに自動計算された。
• EWSは4時間ごとに計算され、ベッドサイド看護師が手動で記録した。スコア範囲は0～21であった。
• 合併症は、公開利用可能なソフトウェアを用いてICD-10 CCS10分類システムに基づいて定義された。
• モデルの性能は、標準指標（AUC、陽性予測値、再現率、陰性予測値、F1スコア、正確度）を用いて評価された。
• 主なアウトカムは、独自のVizientベンチマーキングコードセットを用いたICD-10敗血症診断コードの有無であった。

実験結果

リサーチクエスチョン

• RQ1 地域医療システム環境下で、Epic Sepsis Prediction Model（ESPM）の予測正確性は、既存のEWSベースの敗血症検出システムと比べてどうか？
• RQ2 ESPMは、敗血症予測の臨床的有意義な閾値（≥5）に、入院経過のどの段階で最初に達するか？
• RQ3 ESPMのアラートタイミングは、ラクタート測定などの主要な臨床マーカーと比較してどうか？
• RQ4 ESPMは、後に敗血症を発症する患者を同定する際、陽性予測値および再現率の観点で、どのような性能を示すか？

主な発見

• ESPMは受信者操作特性曲線（ROC）下の面積（AUC）が0.73を達成し、EWSの0.62を有意に上回った。
• ESPMの陽性予測値は0.44であり、EWSの0.33と比較して、真の敗血症例をより正確に同定していることを示した。
• ESPMの再現率（感度）は0.66であり、EWSの0.61と比較して、敗血症を発症する患者の検出能力が向上していた。
• ESPMの正確度は0.78であり、EWSの0.64と比較して、全体的な分類性能が優れていた。
• ESPMアラートが初めて≥5に達するまでの中央値は入院後7時間であり、初回ラクタート測定後からも中央値7時間（四分位範囲4–22）であった。
• 敗血症を発症した患者のESPMスコア中央値（66）は、敗血症を発症しなかった患者の中央値（40）よりも有意に高かった。また、ESPMの最高スコアは、EWSの最高スコアよりも入院経過の初期に達成された。