[논문 리뷰] Regularized calibrated estimation of propensity scores with model misspecification and high-dimensional data

Zhiqiang Tan|arXiv (Cornell University)|2017. 10. 23.

Advanced Causal Inference Techniques참고 문헌 2인용 수 17

한 줄 요약

이 논문은 모형 오특사용 및 고차원적 공변량이 존재하는 상황에서 IPW(역확률가중치) 방법의 성능을 향상시키기 위해 정규화된 校정된 추정량을 제안한다. 새로운 피셔 스코링 강하 알고리즘을 통해 캘리브레이션 손실에 라소 페널티를 적용함으로써, 이 방법은 IPW 추정량의 평균제곱오차를 감소시키고 고차원적 일致성을 달성하며, 시뮬레이션과 실증 적용에서 최대우도추정과 표준 정규화 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Propensity score methods are widely used for estimating treatment effects from observational studies. A popular approach is to estimate propensity scores by maximum likelihood based on logistic regression, and then apply inverse probability weighted estimators or extensions to estimate treatment effects. However, a challenging issue is that such inverse probability weighting methods including doubly robust methods can perform poorly even when the logistic model appears adequate as examined by conventional techniques. In addition, there is increasing difficulty to appropriately estimate propensity scores when dealing with a large number of covariates. To address these issues, we study calibrated estimation as an alternative to maximum likelihood estimation for fitting logistic propensity score models. We show that, with possible model misspecification, minimizing the expected calibration loss underlying the calibrated estimators involves reducing both the expected likelihood loss and a measure of relative errors which controls the mean squared errors of inverse probability weighted estimators. Furthermore, we propose a regularized calibrated estimator by minimizing the calibration loss with a Lasso penalty. We develop a novel Fisher scoring descent algorithm for computing the proposed estimator, and provide a high-dimensional analysis of the resulting inverse probability weighted estimators of population means, leveraging the control of relative errors for calibrated estimation. We present a simulation study and an empirical application to demonstrate the advantages of the proposed methods compared with maximum likelihood and regularization.

연구 동기 및 목표

• 모형 오특사용이 약간이라도 존재할 경우, 기존 기준에 의해 양호한 적합도를 보이는 경우에도 역확률가중치(IPW) 방법의 성능이 열 劣하는 문제를 해결한다.
• 공변량 수가 많거나 표본 크기와 유사한 고차원 설정에서 최대우도추정의 한계를 극복한다.
• 모형 오특사용과 고차원적 공변량 하에서 일致성과 효율성을 유지하는 이론적으로 타당한 정규화된 校정된 추정량을 개발한다.
• 결과로 도출된 IPW 추정량에 대한 고차원적 점근적 분석을 제공하며, 상대오차 측도를 통해 평균제곱오차를 통제함을 규명한다.
• 고차원 설정에서 정규화된 校정된 추정량을 효율적으로 계산할 수 있는 새로운 피셔 스코링 강하 알고리즘을 도입한다.

제안 방법

• 처리군과 전체 표본의 공변량 평균 간 균형을 강제하는 캘리브레이션 손실을 최소화하는 방식으로 校정된 추정량을 설정한다.
• 변수 선택과 고차원 공변량 처리를 가능하게 하기 위해 캘리브레이션 손실에 라소 페널티를 도입한다.
• 정규화된 校정된 추정량을 반복적으로 계산하기 위한 새로운 피셔 스코링 강하 알고리즘을 개발하여 수렴성과 계산 가능성을 확보한다.
• 캘리브레이션 손실은 기대우도손실과 평균제곱오차를 통제하는 상대오차 측도를 동시에 최소화한다.
• 상대오차의 통제를 활용하여 결과 IPW 추정량의 고차원적 점근적 이론을 유도한다.
• 처리군에서 가중치가 부여된 공변량 균형을 강제하는 추정방정식을 사용하여, 모형 오특사용에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 모형 오특사용이 존재할 경우, 최대우도추정보다 캘리브레이션 추정이 공변량 모델링에서 공식적인 이점을 제공할 수 있는가?
• RQ2 p ≈ n 또는 p > n 인 고차원 설정에서 캘리브레이션 추정은 어떻게 확장되고 분석될 수 있는가?
• RQ3 모형 오특사용은 역확률가중치 추정량의 성능에 어떤 영향을 미치며, 캘리브레이션 추정은 이를 완화할 수 있는가?
• RQ4 정규화된 캘리브레이션 추정량은 IPW 추정에서 고차원 일치성과 개선된 평균제곱오차 통제를 달성할 수 있는가?
• RQ5 어떤 알고리즘 프레임워크가 고차원 설정에서 정규화된 캘리브레이션 추정량을 효율적으로 계산할 수 있는가?

주요 결과

• 캘리브레이션 추정량은 기대우도손실과 상대오차 측도를 모두 감소시키며, 이는 직접적으로 역확률가중치 추정량의 평균제곱오차를 통제한다.
• 제안된 정규화된 캘리브레이션 추정량은 적절한 정규성 조건 하에서 IPW 추정량의 모집단 평균에 대해 고차원 일치성을 달성한다.
• 새로운 피셔 스코링 강하 알고리즘은 고차원 설정에서도 안정적이고 효율적인 정규화된 캘리브레이션 추정량 계산을 보장한다.
• 시뮬레이션 연구와 실증 적용을 통해 제안된 방법이 최대우도추정과 표준 정규화 방법보다 편향과 평균제곱오차 측면에서 뛰어난 성능을 보였다.
• 이론적 분석에 따르면, 추정량은 상대오차를 제한함으로써 IPW 추정량의 평균제곱오차를 통제하며, 이는 고차원 및 오특사용 설정에서 핵심적이다.
• 모형 오특사용이 존재할 경우, 이론적 분석은 추정량이 상대오차를 제한함으로써 IPW 추정량의 평균제곱오차를 통제함을 보여준다.