[论文解读] Estimating and evaluating counterfactual prediction models

Christopher Boyer, Issa J Dahabreh+1 more|arXiv (Cornell University)|Aug 24, 2023

Machine Learning in Healthcare被引用 5

一句话总结

本文提出方法，以在训练与部署环境中的治疗策略不同时，或预测本身具有反事实性质时，估计并评估反事实预测模型。该文引入了在模型误设情况下的性能度量可识别性条件，并展示了如何仅使用事实性训练和测试数据来评估模型性能，通过模拟和对MESA队列中他汀-naïve心血管疾病风险预测的应用进行验证。

ABSTRACT

Counterfactual prediction methods are required when a model will be deployed in a setting where treatment policies differ from the setting where the model was developed, or when a model provides predictions under hypothetical interventions to support decision-making. However, estimating and evaluating counterfactual prediction models is challenging because, unlike traditional (factual) prediction, one does not observe the potential outcomes for all individuals under all treatment strategies of interest. Here, we discuss how to estimate a counterfactual prediction model, how to assess the model's performance, and how to perform model and tuning parameter selection. We provide identification and estimation results for counterfactual prediction models and for multiple measures of counterfactual model performance, including loss-based measures, the area under the receiver operating characteristic curve, and the calibration curve. Importantly, our results allow valid estimates of model performance under counterfactual intervention even if the candidate prediction model is misspecified, permitting a wider array of use cases. We illustrate these methods using simulation and apply them to the task of developing a statin-naive risk prediction model for cardiovascular disease.

研究动机与目标

• 为解决在部署预测模型时，治疗策略与训练环境不同的情况，导致性能下降的挑战。
• 即使模型误设，也能仅使用观察性（事实性）数据，实现对反事实预测模型的性能评估。
• 为基于同一来源人群的训练和测试数据，提供针对反事实估计量进行模型定制和调参选择的框架。
• 建立在模型误设下反事实性能度量的可识别性条件，确保在无需不可检验假设的情况下进行有效评估。
• 通过模拟和在MESA队列中对他汀-naïve心血管疾病风险预测的实际应用，展示该框架的实用价值。

提出的方法

• 提出一个仅使用单一来源人群的观察性数据，将预测模型定制为反事实估计量的框架。
• 使用结果模型（OM）和逆概率加权（IPW）估计量来估计反事实性能度量，其中OM估计量定义为 $\widehat{\psi}_{OM} = \frac{1}{n_{test}} \sum_{i \in D_{test}} \widehat{h}_{a}(X_i)$，IPW估计量定义为 $\widehat{\psi}_{IPW} = \frac{1}{n_{test}} \sum_{i \in D_{test}} \frac{\widehat{h}_{a}(X_i)}{\widehat{e}_a(X_i)}$。
• 通过推导在何种条件下反事实性能可从事实性数据中一致估计，建立在模型误设下性能度量的可识别性。
• 应用双重稳健估计技术，提高在结果模型或倾向得分模型任一误设时性能评估的稳健性。
• 在MESA队列中使用一系列嵌套试验，模拟单臂他汀启动试验，以估计符合AHA指南的治疗-naïve风险。
• 在模拟试验环境中，使用滞后时间变化协变量和基线预测变量进行逆概率加权，以调整混杂因素。

Figure 2 : Risk calibration curves for counterfactual prediction models fit using logistic regression with and with out inverse probability weights for statin initiation. The rug plot shows distribution of risk predictions among those who develop ASCVD (top) and those who don’t (bottom). The black c

实验结果

研究问题

• RQ1 在仅使用单一来源人群的事实性数据时，反事实预测模型在何种条件下可以被估计和评估？
• RQ2 当模型可能误设时，如何评估反事实预测的性能？
• RQ3 在未观察到完整潜在结果集的情况下，能否一致估计反事实预测的性能度量？
• RQ4 如何仅使用训练和测试数据，对反事实估计量进行模型定制和调参选择？
• RQ5 在反事实治疗政策下评估时，他汀-naïve心血管疾病风险预测模型的性能如何？

主要发现

• 本文建立了在模型误设下，反事实性能度量可从事实性数据中一致估计的可识别性条件。
• 在适当的正则性条件下，结果模型（OM）和逆概率加权（IPW）估计量可提供反事实性能的一致估计。
• 模拟结果表明，OM和IPW估计量在小样本下均表现出良好性能，且IPW在模型误设下展现出更优的稳健性。
• 在MESA队列的应用中，所提出的框架成功估计了符合AHA指南的他汀-naïve心血管疾病风险，且仅使用观察性数据即可完成性能评估。
• 使用双重稳健估计量提高了估计的稳定性，并在结果模型或倾向得分模型任一误设时降低了偏差。
• 研究证实，反事实环境下的模型性能可独立于模型拟合方法进行评估，从而实现有效的模型比较与选择。