[論文レビュー] Generalizability of predictive models for intensive care unit patients

Alistair E. W. Johnson, Tom Pollard+1 more|arXiv (Cornell University)|Dec 6, 2018

Machine Learning in Healthcare参考文献 19被引用数 10

ひとこと要約

本研究では、eICU-CRDを用いてICU患者の死亡予測モデルの一般化性能を評価し、複数の病院にまたがって訓練された単一のモデルが、限られた局所データですでに再訓練されたモデルを上回ることを示した（判別性能：AUROC = 0.849）。また、複数の病院にまたがる交差検証が外部性能の信頼できる推定値を提供することを示し、高性能な臨床モデルの構築に多施設データ共有の価値を強調した。

ABSTRACT

A large volume of research has considered the creation of predictive models for clinical data; however, much existing literature reports results using only a single source of data. In this work, we evaluate the performance of models trained on the publicly-available eICU Collaborative Research Database. We show that cross-validation using many distinct centers provides a reasonable estimate of model performance in new centers. We further show that a single model trained across centers transfers well to distinct hospitals, even compared to a model retrained using hospital-specific data. Our results motivate the use of multi-center datasets for model development and highlight the need for data sharing among hospitals to maximize model performance.

研究の動機と目的

• 多施設ICUデータで訓練された予測モデルが、新たな未観測の病院にどの程度一般化できるかを評価すること。
• 複数のICUの統合データで訓練されたモデルが、局所病院のデータのみを用いて再訓練されたモデルを上回るかを評価すること。
• 複数の病院にまたがる交差検証が、外部環境におけるモデル性能の信頼できる推定値を提供するかを調査すること。
• 再キャリブレーションとサンプルサイズが、局所病院環境におけるモデルのキャリブレーションと判別性能に与える影響を検討すること。
• 救命救急医療分野における予測モデルの性能向上を図るため、病院間でのデータ共有を提唱すること。

提案手法

• eICU-CRD v2.0データベースに含まれる米国46病院の50,106例のICU滞在データを用いて、L2正則化を施したロジスティック回帰モデルを訓練した。
• ICU入室からの固定24時間窓を用い、年齢・性別・生命徴・検査値など82の特徴量を抽出したが、治療関連変数は除外した。
• 判別性能にはAUROC、キャリブレーションにはSMRを用い、保留された病院でのモデル性能を評価した。
• 一般化性能の推定を目的に、訓練データセット上で5分割交差検証を実施した。
• 1つの大規模病院（病院73）で再キャリブレーション実験を実施し、局所訓練データセットのサイズを200例から2,400例まで段階的に増加させ、移行モデルと局所で訓練されたモデルを比較した。
• 安定した性能推定を得るため、ランダムシャッフルを50回繰り返して再キャリブレーション実験を再実行した。

実験結果

リサーチクエスチョン

• RQ1 多施設ICUデータで訓練されたモデルは、新たな未観測の病院に良好に一般化するか？
• RQ2 局所データセットのサイズが増加するにつれて、移行モデルと局所で再訓練されたモデルの性能はどのように比較されるか？
• RQ3 複数の病院にまたがる交差検証が、外部病院におけるモデル性能の信頼できる推定値を提供できるか？
• RQ4 局所病院環境におけるモデルのキャリブレーションと判別性能に、再キャリブレーションが与える影響は何か？
• RQ5 病院間でのデータ共有は、ICU死亡予測における予測モデル性能をどの程度向上させるか？

主な発見

• 多施設モデルの交差検証におけるAUROCは0.854であり、保留病院でのAUROCも0.849と安定しており、優れた一般化性能を示した。
• 外部病院における多施設モデルのSMRは0.560〜1.43の範囲にあり、平均は0.998であった。これは平均的に良好なキャリブレーションを示している。
• 局所モデルは当初死亡率を過剰に予測していた（SMR > 1.0）が、データ量の増加に伴い改善し、最終的にSMRが1.0に近づいた。
• より多くのデータを用いることで改善は見られたが、局所モデルのAUROC（2,400例で0.796）は依然として移行モデルのAUROC（0.849）を下回った。
• 移行モデルの性能は病院間で一貫しており、劣化の系統的パターンは認められなかったが、性能に顕著なばらつきが観察された。
• 結果から、再キャリブレーションを伴うにせよ、病院間でデータを統合することで、孤立した局所モデル開発に比べて優れたモデル性能が得られると示唆された。