[論文レビュー] Mind the Performance Gap: Examining Dataset Shift During Prospective Validation

Erkin Ötleş, Jeeheh Oh+9 more|arXiv (Cornell University)|Jul 23, 2021

Machine Learning in Healthcare参考文献 26被引用数 9

ひとこと要約

本研究は、医療関連感染症を予測する機械学習モデルの後向きおよび前向き妥当性評価における性能格差を調査し、データ抽出および前処理パイプラインの違いであるインfrastrucureシフトが、患者集団や臨床ワークフローの時間的変化よりも性能低下の主な要因であることを明らかにした。モデルのAUROCは後向き評価時（0.778）から前向き評価時（0.767）に低下し、性能格差の大部分は臨床的変化ではなくデータパイプラインの不整合に起因した。

ABSTRACT

Once integrated into clinical care, patient risk stratification models may perform worse compared to their retrospective performance. To date, it is widely accepted that performance will degrade over time due to changes in care processes and patient populations. However, the extent to which this occurs is poorly understood, in part because few researchers report prospective validation performance. In this study, we compare the 2020-2021 ('20-'21) prospective performance of a patient risk stratification model for predicting healthcare-associated infections to a 2019-2020 ('19-'20) retrospective validation of the same model. We define the difference in retrospective and prospective performance as the performance gap. We estimate how i) "temporal shift", i.e., changes in clinical workflows and patient populations, and ii) "infrastructure shift", i.e., changes in access, extraction and transformation of data, both contribute to the performance gap. Applied prospectively to 26,864 hospital encounters during a twelve-month period from July 2020 to June 2021, the model achieved an area under the receiver operating characteristic curve (AUROC) of 0.767 (95% confidence interval (CI): 0.737, 0.801) and a Brier score of 0.189 (95% CI: 0.186, 0.191). Prospective performance decreased slightly compared to '19-'20 retrospective performance, in which the model achieved an AUROC of 0.778 (95% CI: 0.744, 0.815) and a Brier score of 0.163 (95% CI: 0.161, 0.165). The resulting performance gap was primarily due to infrastructure shift and not temporal shift. So long as we continue to develop and validate models using data stored in large research data warehouses, we must consider differences in how and when data are accessed, measure how these differences may affect prospective performance, and work to mitigate those differences.

研究の動機と目的

• 臨床現場における後向き評価から前向き評価に移行する際の機械学習モデルの性能低下要因を調査すること。
• 患者集団および臨床ワークフローの時間的変化（時間的シフト）と、データアクセス、抽出、変換パイプラインの違い（インfrastrucureシフト）の影響を区別すること。
• 実世界の医療関連感染症リスクスコアリングモデルにおける、各シフトタイプが性能格差に与える寄与度を定量化すること。
• 臨床現場でのリアルタイムデータアクセスを反映する、より代表的な後向きデータパイプラインの必要性を強調すること。
• 前向き評価を、臨床現場への導入前にモデル性能の低下要因を特定・評価するための重要なステップとして提唱すること。

提案手法

• 著者らは、単一の学術的医療施設における26,864件の入院症例について、2019–2020年の後向き評価性能と2020–2021年の前向き評価性能を比較した。
• 性能格差を、後向き評価と前向き評価におけるAUROCおよびBrierスコアの差として定義した。
• 性能格差を2つの要因に分解した：時間的シフト（臨床ワークフローおよび患者集団の変化）とインフラストラクチャーシフト（データパイプラインのアクセスおよび前処理の差異）。
• 統計的推論を用いて、月次比較やデータ可用性・安定性の特徴レベル分析を通じて、時間経過に伴う性能差を評価した。
• 2つの期間における特徴分布（例：病棟、入院タイプ、薬剤投与指示）の変化を分析し、インフラストラクチャーシフトおよび時間的シフトの影響を評価した。
• 95%信頼区間を用いて、AUROCおよびBrierスコアを用いたモデルのキャリブレーションおよび識別性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 臨床リスク予測モデルの後向き評価と前向き評価における性能格差の大きさはどの程度か？
• RQ2 性能格差は、患者集団および臨床ワークフローの変化（時間的シフト）に起因するか、それともデータアクセスおよび前処理の差異（インフラストラクチャーシフト）に起因するか、その割合はどの程度か？
• RQ3 時間経過に伴うデータ可用性および特徴の安定性の変化が、実世界でのモデル性能にどのように影響するか？
• RQ4 パンデミック期の臨床的または運用的変化により、モデルの識別性能が時間経過とともに低下するか？
• RQ5 前向き評価は、後向き評価では捉えきれない性能低下要因を特定・定量化するのに役立つか？

主な発見

• 後向き評価（2019–2020年）ではAUROCが0.778（95%CI: 0.744–0.815）であったが、前向き評価（2020–2021年）では0.767（95%CI: 0.737–0.801）に低下し、明確な性能格差が確認された。
• 性能格差は主にインフラストラクチャーシフトに起因しており、患者集団や臨床ワークフローの時間的変化によるものではない。
• 時間的シフト（例：COVID-19パンデミックに伴う新規病棟の設立、入院患者数の変化）は識別性能を悪化させず、むしろ3月2020年ごろにはわずかに向上した。
• キャリブレーション性能は時間的シフトの影響を受けて悪化しており、識別性能は安定していたが、確率推定の信頼性が低下した。
• 薬剤投与データは血圧・脈拍などのバイタルサインよりも時間経過に伴い安定しており、後向きデータではしばしば遅延して記録されていることが判明し、パイプライン固有の不整合が浮き彫りになった。
• 本研究は、後向きデータウェアハウスがリアルタイムのデータ可用性を正確に反映していない可能性があり、モデル開発段階で楽観的な性能推定がなされてしまう可能性を強調している。