[논문 리뷰] To Impute or not to Impute? Missing Data in Treatment Effect Estimation

Jeroen Berrevoets, Fergus Imrie외 3명|arXiv (Cornell University)|2022. 02. 04.

Statistical Methods and Inference인용 수 9

한 줄 요약

이 논문은 치료 효과 추정에서 치료 배정에 의해 영향을 받고 동시에 그에 영향을 받는 복합 혼란성 누락(혼합 혼란성 누락, MCM)이라는 새로운 누락 메커니즘을 소개한다. 저자들은 정보성 누락을 제거하거나 공변량 이동을 유도하는 것을 방지하기 위해, 특히 치료에 의해 유도되지 않은 변수들(즉, 혼란성으로 인해 누락된 변수들)에 대해서만 보정을 수행하는 선택적 보정 전략을 제안한다. 이는 다양한 학습자들에서 평균 치료 효과(ATE)와 조건부 평균 치료 효과(CATE) 추정을 크게 향상시킨다.

ABSTRACT

Missing data is a systemic problem in practical scenarios that causes noise and bias when estimating treatment effects. This makes treatment effect estimation from data with missingness a particularly tricky endeavour. A key reason for this is that standard assumptions on missingness are rendered insufficient due to the presence of an additional variable, treatment, besides the input (e.g. an individual) and the label (e.g. an outcome). The treatment variable introduces additional complexity with respect to why some variables are missing that is not fully explored by previous work. In our work we introduce mixed confounded missingness (MCM), a new missingness mechanism where some missingness determines treatment selection and other missingness is determined by treatment selection. Given MCM, we show that naively imputing all data leads to poor performing treatment effects models, as the act of imputation effectively removes information necessary to provide unbiased estimates. However, no imputation at all also leads to biased estimates, as missingness determined by treatment introduces bias in covariates. Our solution is selective imputation, where we use insights from MCM to inform precisely which variables should be imputed and which should not. We empirically demonstrate how various learners benefit from selective imputation compared to other solutions for missing data. We highlight that our experiments encompass both average treatment effects and conditional average treatment effects.

연구 동기 및 목표

• 표준 보정 방법이 복잡한 누락, 치료, 결과 간의 상호의존성로 인해 실패하는 치료 효과 추정에서의 누락 데이터 문제를 다루는 것.
• 누락이 치료 배정의 원인이 되는 동시에 그 결과이기도 하다는 점을 밝혀내며, 기존의 누락 메커니즘으로는 이를 반영할 수 없는 상황임을 규명하는 것.
• 치료 선택과 결과 추정에서 누락의 이중적 역할을 모델링하기 위해 새로운 누락 메커니즘인 혼합 혼란성 누락(MCM)을 제안하는 것.
• 일반적인 보정 또는 보정 없이 처리할 경우 치료 효과 추정에 편향이 발생하므로, 더 세밀한 접근이 필요함을 입증하는 것.
• 치료 정보를 담고 있는 누락 정보를 유지하면서도 공변량 이동을 수정하기 위해 선택적 보정 전략을 개발하고 검증하는 것.

제안 방법

• 표준 누락 메커니즘(MCAR, MAR)을 확장하여 치료와 누락 간의 상하향적 의존성을 포함한 그래픽 모델인 혼합 혼란성 누락(MCM)을 도입하는 것.
• 치료 $W$ 가 공변량의 누락(예: $\widetilde{X}$ 및 $Z$)을 유도할 뿐 아니라 그 역으로 영향을 받는 구조적 인과 모델로 MCM을 수식화하는 것.
• 치료에 의해 유도되지 않은 변수들(즉, $\widetilde{X}^\dagger$ 가 아닌)에 대해서만 보정을 수행하는 선택적 보정 전략을 제안하는 것. 이는 치료 정보를 담고 있는 누락 정보를 유지한다.
• MICE(연쇄 방정식을 통한 다중 보정)를 사용하여 보정을 수행하며, MCM 분석에 기반해 선택적으로 적용하는 것.
• T-러닝, DR-러닝, X-러닝 모델에 대해 XGBoost를 사용하여 ATE(오차 제곱합(MSE)을 통한 평가) 및 CATE(PEHE를 통한 평가) 메트릭을 사용해 성능을 평가하는 것.
• 선택적 보정과 통합된 선택적 경중도 가중치(IPW)를 DR 및 X-러닝 모델에 적용하여 선택 편향을 조정하는 것.

실험 결과

연구 질문

• RQ1 치료 선택을 유도하고 동시에 그에 영향을 받는 누락은 치료 효과 추정에 어떻게 영향을 미치는가?
• RQ2 이러한 메커니즘 하에서 모든 누락 변수를 단순히 보정하는 것은 어떤 결과를 초래하는가?
• RQ3 특정 누락 변수들만 보정하는 선택적 보정 전략은 전체 보정 또는 보정 없이 처리하는 것보다 치료 효과 추정을 향상시키는가?
• RQ4 T-러닝, DR-러닝, X-러닝과 같은 다양한 치료 효과 학습자들이 선택적 보정 전략과 다른 누락 데이터 전략에 대해 어떻게 성능을 내는가?
• RQ5 선택적 보정은 평균 치료 효과(ATE)와 조건부 평균 치료 효과(CATE) 추정 양쪽에서 편향을 줄이는가?

주요 결과

• 모든 누락 변수를 보정하는 것은 치료 정보를 담고 있는 누락 정보를 제거함으로써 선택 편향을 증가시키므로 성능이 열 劣하다.
• 모든 변수를 보정하지 않는 것은 치료 유도로 인한 누락이 치료군과 대조군 간의 공변량 이동을 유도하므로 편향을 초래한다.
• 특히 $\widetilde{X}$ 는 보정하지만 $\widetilde{X}^\dagger$ 는 보정하지 않는 선택적 보정 전략은 모든 학습자에서 ATE 추정의 MSE 를 크게 감소시킨다.
• CATE 추정에서는 선택적 보정 전략이 PEHE(이질적 효과 추정의 정밀도)를 가장 낮게 유지하며, 전체 보정 및 보정 없음 전략을 모두 능가한다.
• 선택적 보정 전략의 향상 효과는 T-러닝, DR-러닝, X-러닝 등 다양한 학습자들에서 일관되게 나타나, 강건성을 입증한다.
• 실증 결과는 잘못된 변수들(예: $\widetilde{X}^\dagger$)을 보정하는 것이 성능을 지속적으로 떨어뜨리며, MCM의 이론적 논거를 검증한다.