[論文レビュー] Estimating and evaluating counterfactual prediction models

Christopher Boyer, Issa J Dahabreh+1 more|arXiv (Cornell University)|Aug 24, 2023

Machine Learning in Healthcare被引用数 5

ひとこと要約

本稿では、訓練環境とデプロイメント環境での治療方針が異なる場合、あるいは予測が本質的に反事後的である場合に、反事後的予測モデルを推定・評価する手法を提案する。モデルの誤指定下での性能指標の同定可能性条件を導出し、シミュレーションおよびMESAコhortにおけるスタチンナイーブな心血管疾患リスク予測への応用を通じて妥当性を検証した。訓練およびテストデータに反事後的でない観察データのみを用いてモデルの性能を評価する手法を提示した。

ABSTRACT

Counterfactual prediction methods are required when a model will be deployed in a setting where treatment policies differ from the setting where the model was developed, or when a model provides predictions under hypothetical interventions to support decision-making. However, estimating and evaluating counterfactual prediction models is challenging because, unlike traditional (factual) prediction, one does not observe the potential outcomes for all individuals under all treatment strategies of interest. Here, we discuss how to estimate a counterfactual prediction model, how to assess the model's performance, and how to perform model and tuning parameter selection. We provide identification and estimation results for counterfactual prediction models and for multiple measures of counterfactual model performance, including loss-based measures, the area under the receiver operating characteristic curve, and the calibration curve. Importantly, our results allow valid estimates of model performance under counterfactual intervention even if the candidate prediction model is misspecified, permitting a wider array of use cases. We illustrate these methods using simulation and apply them to the task of developing a statin-naive risk prediction model for cardiovascular disease.

研究の動機と目的

• 訓練環境とは異なる治療方針が適用される環境に予測モデルを展開する際の課題に対処すること。
• モデルが誤指定されている場合でも、観察データ（事実データ）のみを用いて反事後的予測モデルの性能を評価可能にする。
• 同一の母集団からの訓練およびテストデータを用いて、反事後的推定量に適合したモデルのチューニングおよびチューニングパラメータ選択のフレームワークを提供すること。
• モデルの誤指定下での反事後的性能指標の同定可能性条件を確立し、検証不能な仮定を必要としない有効な評価を可能にすること。
• シミュレーションおよびMESAコhortにおけるスタチンナイーブな心血管疾患リスク予測への実世界応用を通じて、フレームワークの実用的有効性を示すこと。

提案手法

• 単一の母集団からの観察データのみを用いて、反事後的推定量に適合した予測モデルのチューニングフレームワークを提案する。
• 結果モデル（OM）および逆確率重み付け（IPW）推定量を用いて反事後的性能指標を推定し、OM推定量は $\widehat{\psi}_{OM} = \frac{1}{n_{test}} \sum_{i \in D_{test}} \widehat{h}_{a}(X_i)$ 、IPW推定量は $\widehat{\psi}_{IPW} = \frac{1}{n_{test}} \sum_{i \in D_{test}} \frac{\widehat{h}_{a}(X_i)}{\widehat{e}_a(X_i)}$ で定義される。
• 反事後的性能が事実データから一貫して推定可能である条件を導出し、モデル誤指定下での性能指標の同定可能性を確立する。
• 結果モデルまたは感受性スコアモデルのいずれかが誤指定されている場合でも、推定の頑健性を高めるためにダブルロバスト推定手法を適用する。
• MESAコhortにおける連続的なネストド・トライアルを用いて、スタチン投与のない状態におけるリスクを模擬する単一群試験を再現し、AHA指針に従った治療ナシリスクの推定を可能にする。
• ラグ付き時変動共変量およびベースライン予測子を用いた逆確率重み付けを実装し、模擬試験設定における交絡要因の調整を図る。

Figure 2 : Risk calibration curves for counterfactual prediction models fit using logistic regression with and with out inverse probability weights for statin initiation. The rug plot shows distribution of risk predictions among those who develop ASCVD (top) and those who don’t (bottom). The black c

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、単一の母集団からの事実データのみを用いて反事後的予測モデルを推定・評価できるか？
• RQ2 モデルが誤指定されている可能性がある場合、反事後的予測の性能はどのようにして評価できるか？
• RQ3 完全な潜在的アウトカムの観測がなければ、反事後的予測の性能指標を一貫して推定できるか？
• RQ4 訓練およびテストデータのみを用いて、反事後的推定量に適合したモデルのチューニングおよびチューニングパラメータ選択をどのように行えるか？
• RQ5 AHA指針に従う反事後的治療方針下で、スタチンナイーブな心血管疾患リスク予測モデルの性能はどの程度か？

主な発見

• 本稿では、モデルが誤指定されている場合でも、反事後的性能指標が事実データから一貫して推定可能である同定可能性条件を確立した。
• 結果モデル（OM）および逆確率重み付け（IPW）推定量は、適切な正則性条件の下で反事後的性能を一貫して推定する。
• シミュレーション結果から、OMおよびIPW推定量ともに有限標本での良好な性能を示し、特にIPW推定量はモデル誤指定下で優れた頑健性を示した。
• MESAコホートへの応用において、提案フレームワークはAHA指針に従うスタチンナイーブな心血管疾患リスクを適切に推定でき、性能評価が観察データのみで可能であった。
• ダブルロバスト推定量の使用により、結果モデルまたは感受性スコアモデルのいずれかが誤指定されている場合でも、推定の安定性が向上しバイアスが低減された。
• 本研究は、モデル適合手法とは独立して反事後的設定におけるモデル性能を評価可能であることを確認した。これにより、有効なモデル比較および選択が可能となった。