[論文レビュー] Leveraging Clinical Time-Series Data for Prediction: A Cautionary Tale

Eli Sherman, Hitinder S. Gurm+3 more|PubMed|Nov 29, 2018

Machine Learning in Healthcare参考文献 13被引用数 7

ひとこと要約

この論文は、臨床予測モデルの学習および評価に、結果に依存する時刻（例：死亡直前や退院時）を用いることで、性能推定値が楽観的になりすぎる傾向があることを示している。2つのICU予測タスク（院内死亡および低カリウム血症）において、結果に依存しない（例：入院時）と結果に依存するインデックスングを比較した結果、結果に依存しない手法がより現実的で高い性能（死亡予測ではAUROC 0.882 対 0.831、カリウム予測では0.829 対 0.740）を示した。これは、EHRベースの機械学習モデリングにおける臨床的に現実的な評価フレームワークの重要性を強調している。

ABSTRACT

In healthcare, patient risk stratification models are often learned using time-series data extracted from electronic health records. When extracting data for a clinical prediction task, several formulations exist, depending on how one chooses the time of prediction and the prediction horizon. In this paper, we show how the formulation can greatly impact both model performance and clinical utility. Leveraging a publicly available ICU dataset, we consider two clinical prediction tasks: in-hospital mortality, and hypokalemia. Through these case studies, we demonstrate the necessity of evaluating models using an outcome-independent reference point, since choosing the time of prediction relative to the event can result in unrealistic performance. Further, an outcome-independent scheme outperforms an outcome-dependent scheme on both tasks (In-Hospital Mortality AUROC .882 vs. .831; Serum Potassium: AUROC .829 vs. .740) when evaluated on test sets that mimic real-world use.

研究の動機と目的

• 臨床時系列データの異なる時刻インデックス戦略が、EHRベースの予測タスクにおけるモデルの性能と臨床的有用性に与える影響を調査すること。
• 結果に依存する基準時刻（例：死亡直前や退院時）を用いることで、モデル評価において誤った高水準の性能推定値が得られることを示すこと。
• 訓練およびテストに、入院時など結果に依存しない基準時刻を用いることで、現実的な性能推定を保証するよう提言すること。
• 院内死亡および低カリウム血症という2つの実世界のICU予測タスクにおいて、異なるインデックススケームを用いて訓練および評価されたモデルの性能を比較すること。
• 研究者が、実際の臨床デプロイメント状況を反映しない後向きデータ抽出手法を用いることに対する警告を発すること。

提案手法

• 本研究は、公開済みのICUデータセット（MIMIC-III）を用い、2つの予測タスク（院内死亡および低カリウム血症）のためのEHRからの時系列特徴を抽出した。
• 2つのインデックス戦略を適用した：結果に依存する（例：死亡または退院からの相対的時刻）と結果に依存しない（例：入院時刻）の両方を、訓練およびテストセットの構築に用いた。
• 院内死亡予測では、死亡または退院からの相対的時刻（結果に依存する）と入院時からの相対的時刻（結果に依存しない）に基づいて、モデルを訓練および評価した。
• 低カリウム血症予測では、2つの異なるユースケースを評価した：(1) 入院時を基準として12時間ごとに将来のカリウム値を予測する、および (2) 各ラボ検査時刻にオンデマンドで予測し、真値が入手可能である。
• 性能はAUROCを用いて評価し、テストセットは実世界のデプロイメント条件を反映するように構築した。
• 本研究は、インデックススケームごとのモデル性能を比較し、結果に依存しないスケームが臨床的有用性をよりよく反映し、テストデータにおける選択バイアスを回避できることを強調した。

実験結果

リサーチクエスチョン

• RQ1 結果に依存する基準時刻（死亡直前や退院時）と結果に依存しない基準時刻の選択が、臨床予測モデルの性能にどのように影響するか？
• RQ2 結果に依存する基準時刻が、実世界のデプロイメント状況において、どれほど楽観的な性能推定値をもたらすか？
• RQ3 ICU予測タスクにおいて、結果に依存しないインデックスングが、結果に依存するインデックスングよりもより現実的で高い性能のモデルを生み出せるか？
• RQ4 異なる予測ホライゾンおよびデータ抽出スケームが、院内死亡および低カリウム血症予測のモデル性能にどのように影響するか？
• RQ5 結果に依存する基準時刻に基づくテストセット（例：臨床的イベントに近い簡単な例を選ぶ）が、予測モデルの臨床的有用性に与える影響は何か？

主な発見

• 結果に依存しない基準時刻（例：入院時）を用いたモデル評価では、院内死亡予測のAUROCが0.882に達したが、これは結果に依存するアプローチ（AUROC 0.831）を顕著に上回った。
• 低カリウム血症予測では、結果に依存しないモデルがAUROC 0.829を達成した一方、結果に依存するモデルは0.740にとどまり、顕著な性能格差が確認された。
• オンデマンド予測モデル（ラボ検査時刻に予測）は、短い予測ホライゾンにもかかわらずAUROC 0.738にとどまり、入院時基準モデルより低かった。これは、選択的検査に起因する困難さが原因で、より高い難易度であることを示唆している。
• 結果に依存する基準時刻に基づくテストセットは、退院や死亡に近い患者など、より簡単な例に偏っているため、性能指標が誇張され、実世界の使用状況を反映していない。
• 結果に依存するインデックスングを用いて訓練および評価されたモデルは、疾患プロセスの理解には役立つ可能性があるが、性能の過大評価のため、臨床意思決定支援には信頼できない。
• 本研究は、特にデータ抽出および評価における問題定式化を慎重に行うことが、モデルの臨床的価値を誤って表現するのを防ぐために不可欠であると結論づけた。