[논문 리뷰] Propensity Score Methods for Merging Observational and Experimental Datasets

Evan T. R. Rosenman, Art B. Owen외 2명|arXiv (Cornell University)|2018. 04. 20.

Advanced Causal Inference Techniques인용 수 7

한 줄 요약

이 논문은 인과적 추론을 향상시키기 위해 무작위 대조 시험(RCT) 데이터와 관찰 데이터를 융합하기 위한 성향 스코어 기반 방법을 제안한다. 성향 스코어에 따라 분할하고 RCT 데이터를 해당 분할에 '스피킹(spiking)'하거나 데이터 기반의 볼록 조합을 사용함으로써, RCT와 관찰 데이터의 공변수 분포가 일치할 경우 스피킹된 추정량이 루트 평균 제곱 오차(RMSE)를 감소시키는 것으로 나타났으며, 분포 불일치가 있는 경우 동적 가중 추정량이 더 강건함을 입증하였다.

ABSTRACT

This project considers how one might augment a limited amount of data from randomized controlled trial (RCT) with more plentiful data from an observational database (ODB), in order to estimate a causal effect. In our motivating setting, the ODB has better external validity, while the RCT has genuine randomization. We work with strata defined by the propensity score in the ODB. Subjects from the RCT are placed in strata defined by the propensity they would have had, had they been in the ODB. Our first method simply spikes the RCT data into their corresponding ODB strata. Our second method takes a data-driven convex combination of the ODB and RCT treatment effect estimates within each stratum. Using the delta method and simulations we show that the spike-in method works best when the RCT covariates are drawn from the same distribution as in the ODB. Our convex combination method is more robust than the spike-in to covariate-based inclusion criteria that bias the RCT data. We apply our methods to data from the Women's Health Initiative, a study of thousands of postmenopausal women which has both observational and experimental data on hormone therapy (HT). Using half of the RCT to define a gold standard, we find that a version of the spiked-in estimate yields stable estimates of the causal impact of HT on coronary heart disease.

연구 동기 및 목표

• 제한된 RCT 데이터와 대규모 관찰 데이터셋을 융합하여 외부 타당성이 높은 인과 효과를 추정하는 데 도전하는 것.
• 제한된 참가자 모집으로 인해 외부 타당성이 낮은 RCT의 한계와, 비무작위적 치료 배정으로 인한 교란 요인 문제를 가진 관찰 연구의 한계를 극복하는 것.
• 성향 스코어 분할을 통해 RCT의 무작위화와 관찰 데이터의 대표성을 동시에 활용하는 방법을 개발하는 것.
• 데이터 융합 기법을 통해 인과 효과 추정의 정밀도를 높이고 루트 평균 제곱 오차(RMSE)를 감소시키는 것.
• 공변수 분포 불일치가 존재하는 현실적인 조건 하에서 제안된 추정량의 성능을 평가하는 것.

제안 방법

• 관찰 데이터셋(ODB)에서 추정한 성향 스코어를 사용하여 분할을 정의한다. 이는 관찰된 공변수 조건 하에서 치료를 받을 확률을 의미한다.
• RCT 참가자를 ODB의 공변수 프로파일을 기반으로 동일한 성향 스코어 분할에 할당한다.
• 각 분할 내에서 인과 효과 추정을 위해 RCT 데이터를 직접 해당 ODB 분할에 융합하는 '스피킹' 추정량을 구현한다.
• 각 분할 내에서 ODB와 RCT의 치료 효과 추정량을 플러그인 추정치를 이용해 볼록 조합으로 계산하는 '동적 가중' 추정량을 개발한다.
• 큰 표본 근사 조건 하에서 추정량의 평균과 분산을 근사하기 위해 델타 방법을 적용한다.
• 반조각 RCT를 황금 표준으로 사용하여 부트스트랩 재표본 추출을 통해 성능을 평가하기 위해 월드 헬스 이니셔티브(Women’s Health Initiative, WHI) 데이터셋에 방법을 적용한다.

실험 결과

연구 질문

• RQ1 작은 무작위 대조 시험(RCT)과 대규모 관찰 데이터셋을 최적으로 융합하여 인과 효과 추정을 향상시키는 방법은 무엇인가?
• RQ2 RCT 데이터를 관찰 데이터의 성향 스코어 분할에 스피킹할 경우, 관찰 데이터만 사용하는 것보다 성능이 향상되는 조건은 무엇인가?
• RQ3 RCT와 ODB 간의 공변수 분포 불일치가 융합된 추정량의 성능에 미치는 영향은 무엇인가?
• RQ4 공변수 분포가 다를 경우, 각 분할 내에서 ODB와 RCT 추정량의 데이터 기반 볼록 조합이 단순 스피킹보다 우월한가?
• RQ5 알려진 황금 표준 인과 효과가 존재하는 실제 환경에서 제안된 추정량의 실증 성능은 어떠한가?

주요 결과

• RCT와 ODB의 공변수 분포가 유사할 경우, 스피킹된 추정량이 가장 낮은 루트 평균 제곱 오차(RMSE)를 기록했으며, ODB 전용 및 RCT 전용 추정량보다 뛰어난 성능을 보였다.
• 무작위 치료 배정 없이도 치료되지 않은 여성에서 관류성 심장질환(CHD) 예측에 사용되는 결과 스코어까지 성향 스코어와 함께 분할한 이중 스피킹 추정량은 WHI 데이터 예제에서 가장 우수한 성능을 보였으며, 표준 스피킹 추정량에 이어 뒤이었다.
• WHI 데이터에서 동적 가중 추정량은 더 높은 편향과 분산을 보였고, 스피킹 추정량에 비해 열등했지만, 분포 불일치가 존재할 경우 더 강건한 성능를 보였다.
• 시뮬레이션 결과, RCT의 공변수 분포가 ODB와 동일한 분포에서 유래할 경우 스피킹 방법이 가장 우수한 성능를 보였으며, 이는 분포 가정에 민감함을 확인시켰다.
• 사소한 ODB 추정량은 가장 낮은 분산을 보였지만, 선택 편향으로 인해 가장 높은 편향과 RMSE를 보였으며, 이는 성향 스코어 조정의 필요성을 강조한다.
• 100개의 재표본을 통한 부트스트랩 추출 결과, 스피킹 및 이중 스피킹 추정량은 편향이 매우 작았고 분산을 크게 감소시켜 종합적인 RMSE에서 열등한 성능를 보였다.