[論文レビュー] Feature Robustness in Non-stationary Health Records: Caveats to Deployable Model Performance in Common Clinical Machine Learning Tasks

Bret Nestor, Matthew B. A. McDermott+6 more|arXiv (Cornell University)|Aug 2, 2019

Machine Learning in Healthcare参考文献 42被引用数 54

ひとこと要約

この論文は、歴史的なEHRデータで訓練したMLモデルは非定常性のため将来データに一般化するのが難しいが、特徴を臨床概念に集約すると性能の低下が顕著に減少することを示している。

ABSTRACT

When training clinical prediction models from electronic health records (EHRs), a key concern should be a model's ability to sustain performance over time when deployed, even as care practices, database systems, and population demographics evolve. Due to de-identification requirements, however, current experimental practices for public EHR benchmarks (such as the MIMIC-III critical care dataset) are time agnostic, assigning care records to train or test sets without regard for the actual dates of care. As a result, current benchmarks cannot assess how well models trained on one year generalise to another. In this work, we obtain a Limited Data Use Agreement to access year of care for each record in MIMIC and show that all tested state-of-the-art models decay in prediction quality when trained on historical data and tested on future data, particularly in response to a system-wide record-keeping change in 2008 (0.29 drop in AUROC for mortality prediction, 0.10 drop in AUROC for length-of-stay prediction with a random forest classifier). We further develop a simple yet effective mitigation strategy: by aggregating raw features into expert-defined clinical concepts, we see only a 0.06 drop in AUROC for mortality prediction and a 0.03 drop in AUROC for length-of-stay prediction. We demonstrate that this aggregation strategy outperforms other automatic feature preprocessing techniques aimed at increasing robustness to data drift. We release our aggregated representations and code to encourage more deployable clinical prediction models.

研究の動機と目的

• 非識別化されたEHRデータを用いて訓練された臨床予測モデルに対する時系列ドリフトの影響を動機づけ、定量化する。
• 年を超えるシフトに対する複数の入力表現、モデル、およびトレーニング方針の頑健性を評価する。
• 将来のデータバッチ間の一般化を改善する緩和戦略を特定する。

提案手法

• Limited Data Use Agreementの下でMIMIC-IIIのyear-of-careデータを用い、時系列的一般化を評価する。
• 以下の4つの表現を比較する: Raw、PCA、CUI Code Spanning、およびClinical Aggregations。
• LR、RF、LSTM、GRU-Dの4モデルを、3つのトレーニング方針（Year-Agnostic、Prior Year、Full History）の下でベンチマークする。
• ICU死亡率と長期入院期間という2つの二値タスクを、ICUデータの最初の24時間に基づいて評価する。
• AUROCで性能を測定し、非定常設定における年ごとの低下を報告する。

実験結果

リサーチクエスチョン

• RQ1 MIMIC-IIIで歴史データを用いて訓練し、将来データで評価した際のモデル性能はどう低下するか？
• RQ2 どの入力表現とトレーニング方針が臨床概念ドリフトに最も耐えるか？
• RQ3 臨床的動機づけられた特徴集約は自動前処理手法と比較して頑健性を向上させるか？
• RQ4 CareVueからMetaVisionへのEHRシステム変更は年を跨いだ予測性能にどのような影響を与えるか？

主な発見

• Raw representations exhibit substantial performance drops after the 2008 EHR transition (up to 0.29 AUROC loss for mortality with RF).
• Clinically aggregated representations reduce AUROC drop to 0.06 (mortality) and 0.03 (LOS) under full-history training.
• PCA and automatic CUIs provide limited robustness to year-to-year shifts, with clinical aggregation outperforming them across models.
• GRU-D shows some recovery over time, suggesting missing-data handling aids drift robustness, but aggregation remains superior.
• Year-agnostic evaluation overestimates performance, especially for raw features, highlighting deployability gaps for public benchmarks.
• Model performance saturates quickly for these tasks, suggesting a shift to harder problems or new signals beyond 181 lab/vital features.