[논문 리뷰] Estimating and evaluating counterfactual prediction models

Christopher Boyer, Issa J Dahabreh외 1명|arXiv (Cornell University)|2023. 08. 24.

Machine Learning in Healthcare인용 수 5

한 줄 요약

이 논문은 학습 및 배포 환경에서 치료 정책이 다를 경우 또는 예측이 본질적으로 반사적일 경우 반사적 예측 모델을 추정하고 평가하기 위한 방법을 제안한다. 모델 잘못 설정 시 성능 측정치의 식별 조건을 도입하고, 시뮬레이션과 MESA 코hort에서 스타틴 미사용 심혈관질환 위험 예측에의 적용을 통해, 사실적 학습 및 테스트 데이터만을 사용하여 모델 성능을 평가하는 방법을 보여준다.

ABSTRACT

Counterfactual prediction methods are required when a model will be deployed in a setting where treatment policies differ from the setting where the model was developed, or when a model provides predictions under hypothetical interventions to support decision-making. However, estimating and evaluating counterfactual prediction models is challenging because, unlike traditional (factual) prediction, one does not observe the potential outcomes for all individuals under all treatment strategies of interest. Here, we discuss how to estimate a counterfactual prediction model, how to assess the model's performance, and how to perform model and tuning parameter selection. We provide identification and estimation results for counterfactual prediction models and for multiple measures of counterfactual model performance, including loss-based measures, the area under the receiver operating characteristic curve, and the calibration curve. Importantly, our results allow valid estimates of model performance under counterfactual intervention even if the candidate prediction model is misspecified, permitting a wider array of use cases. We illustrate these methods using simulation and apply them to the task of developing a statin-naive risk prediction model for cardiovascular disease.

연구 동기 및 목표

• 학습 환경과 다를 수 있는 치료 정책이 존재하는 환경에서 예측 모델을 구현할 경우 성능 저하 문제가 발생하는 것을 해결하기 위해.
• 모델가 잘못 설정되어도 사실적 데이터만을 사용하여 반사적 예측 모델의 성능 평가를 가능하게 하기 위해.
• 동일한 소스 인구집단의 학습 및 테스트 데이터를 사용하여 반사적 추정량에 맞추어 모델를 맞춤화하고 튜닝 파rameter 선택을 위한 프레임워크를 제공하기 위해.
• 모델 잘못 설정 하에 반사적 성능 측정치의 식별 조건을 설정하여, 검증할 수 없는 가정 없이 유효한 평가를 보장하기 위해.
• 모델의 실용적 유용성을 시뮬레이션과 MESA 코hort에서의 스타틴 미사용 심혈관질환 위험 예측에의 실제 적용을 통해 보여주기 위해.

제안 방법

• 단일 소스 인구집단의 관찰적 데이터만을 사용하여 반사적 추정량에 맞춘 예측 모델을 맞춤화하기 위한 프레임워크를 제안한다.
• 성과 모델(OM)과 역확률가중(IPS) 추정량을 사용하여 반사적 성능 측정치를 추정하며, OM 추정량은 $\widehat{\psi}_{OM} = \frac{1}{n_{test}} \sum_{i \in D_{test}} \widehat{h}_{a}(X_i)$ 와 정의되고, IPS 추정량은 $\widehat{\psi}_{IPW} = \frac{1}{n_{test}} \sum_{i \in D_{test}} \frac{\widehat{h}_{a}(X_i)}{\widehat{e}_a(X_i)}$ 로 정의된다.
• 반사적 성능를 사실적 데이터로부터 일관되게 추정할 수 있는 조건을 유도함으로써, 모델 잘못 설정 하에 성능 측정치의 식별성을 확립한다.
• 성과 모델 또는 성향 스코어 모델 중 하나가 잘못 설정되어도 성능 평가의 강건성을 향상시키기 위해 双중-로버스트 추정 기법을 적용한다.
• MESA 코hort에서 단일군 시험을 모의하기 위해 중첩된 시험의 시퀀스를 사용하여 스타틴 투여 이전 위험을 추정한다.
• 지연된 시간에 따라 변화하는 공변량과 기초 예측 변수를 사용하여 역확률가중을 시행함으로써, 모의 시험 환경에서의 혼란 요인을 조정한다.

Figure 2 : Risk calibration curves for counterfactual prediction models fit using logistic regression with and with out inverse probability weights for statin initiation. The rug plot shows distribution of risk predictions among those who develop ASCVD (top) and those who don’t (bottom). The black c

실험 결과

연구 질문

• RQ1 어떤 조건에서 단일 소스 인구집단의 사실적 데이터만을 사용하여 반사적 예측 모델을 추정하고 평가할 수 있는가?
• RQ2 모델가 잘못 설정되어 있을 경우 반사적 예측에 대한 성능 평가를 어떻게 수행할 수 있는가?
• RQ3 완전한 잠재 결과 집합을 관찰하지 않더라도 반사적 예측 성능 측정치를 일관되게 추정할 수 있는가?
• RQ4 학습 및 테스트 데이터만을 사용하여 반사적 추정량에 맞춘 모델 맞춤화 및 튜닝 파ram터 선택을 어떻게 수행할 수 있는가?
• RQ5 반사적 치료 정책 하에서 스타틴 미사용 심혈관질환 위험 예측 모델의 성능은 어떠한가?

주요 결과

• 논문은 모델 잘못 설정 하에 있어도 반사적 성능 측정치를 사실적 데이터로부터 일관되게 추정할 수 있는 식별 조건를 확립하였다.
• 성과 모델(OM)과 역확률가중(IPW) 추정량은 적절한 정규 조건 하에서 반사적 성능을 일관되게 추정한다.
• 시뮬레이션 결과, OM 및 IPW 추정량 모두 양호한 표본 크기 성능를 유지하며, 특히 모델 잘못 설정 하에 IPW 추정량이 향상된 강건성을 보였다.
• MESA 응용 분석에서 제안된 프레임워크는 AHA 지침 하에 스타틴 미사용 심혈관질환 위험를 성공적으로 추정하였으며, 관찰적 데이터만을 사용하여 성능 평가가 가능하였다.
• 이중-로버스트 추정량의 사용은 성과 모델 또는 성향 스코어 모델 중 하나가 잘못 설정되었을 경우 추정 안정성 향상과 오차 감소를 개선하였다.
• 연구는 반사적 설정에서의 모델 성능 평가가 모델 피팅 방법과 독립적으로 수행될 수 있음을 확인하였으며, 유효한 모델 비교 및 선택을 가능하게 하였다.