[논문 리뷰] Uncertainty in the Design Stage of Two-Stage Bayesian Propensity Score Analysis

Shirley Liao, Corwin Zigler|arXiv (Cornell University)|2018. 09. 13.

Advanced Causal Inference Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 설계 단계의 불확실성을 두 단계의 성향스코어 분석에 전파하기 위한 베이지안 프레임워크를 제안한다. 가능한 설계들의 분포 위에서 평균화함으로써 추정 불확실성과 구현 불확실성을 모두 고려한다. 이는 특히 매칭과 분류 기반 방법에서 인과적 효과 추정을 향상시키며, 표준 방법에 비해 평균제곱오차와 신뢰구간 커버리지가 더 우수하다고 입증된다.

ABSTRACT

The two-stage process of propensity score analysis (PSA) includes a design stage where propensity scores are estimated and implemented to approximate a randomized experiment and an analysis stage where treatment effects are estimated conditional upon the design. This paper considers how uncertainty associated with the design stage impacts estimation of causal effects in the analysis stage. Such design uncertainty can derive from the fact that the propensity score itself is an estimated quantity, but also from other features of the design stage tied to choice of propensity score implementation. This paper offers a procedure for obtaining the posterior distribution of causal effects after marginalizing over a distribution of design-stage outputs, lending a degree of formality to Bayesian methods for PSA (BPSA) that have gained attention in recent literature. Formulation of a probability distribution for the design-stage output depends on how the propensity score is implemented in the design stage, and propagation of uncertainty into causal estimates depends on how the treatment effect is estimated in the analysis stage. We explore these differences within a sample of commonly-used propensity score implementations (quantile stratification, nearest-neighbor matching, caliper matching, inverse probability of treatment weighting, and doubly robust estimation) and investigate in a simulation study the impact of statistician choice in PS model and implementation on the degree of between- and within-design variability in the estimated treatment effect. The methods are then deployed in an investigation of the association between levels of fine particulate air pollution and elevated exposure to emissions from coal-fired power plants.

연구 동기 및 목표

• 관찰 연구에서 성향스코어 추정과 구현 과정에서 기인하는 설계 단계의 불확실성을 인과 효과 추정에 체계적으로 전파하는 것.
• 설계 추정 불확실성(DEU)과 설계 결정 불확실성(DDU)이라는 두 가지 원인을 구분하고 정량화하는 것.
• 가능한 설계들 위에서 평균화하는 베이지안 접근법을 개발하여 인과 효과 추정의 견고성을 향상시키는 것.
• 성향스코어 모형과 구현 선택이 처리 효과 추정의 내부 및 외부 변동성에 미치는 영향을 평가하는 것.

제안 방법

• 성향스코어 모형과 구현 유형(예: 매칭, 가중치, 서브클래스피케이션)에 기반하여 가능한 설계들 위의 확률 분포를 설정하는 것.
• 설계 단계의 출력 분포 위에서 통합함으로써 인과 효과의 사후 분포를 베이지안 추론을 통해 계산하는 것.
• 설계와 분석 단계를 분리하여 결과 데이터가 설계 단계의 불확실성 정량화에 사용되지 않도록 보장하는 것.
• 다섯 가지 일반적인 성향스코어 구현 방식(등분위수 분류, 근접 이웃 매칭, 캘리퍼 매칭, 역확률가중치, 이중로버스트 추정)에 대해 방법을 구현하는 것.
• 성향스코어 모형과 구현 선택의 영향이 변동성과 추정 정확성에 미치는 영향을 평가하기 위해 시뮬레이션 연구를 수행하는 것.
• 실제 공기오염과 셰일가스 발전소 배출량에 관한 연구에 방법을 적용하여 실용적 유용성을 입증하는 것.

실험 결과

연구 질문

• RQ1 성향스코어 추정과 구현에서 기인하는 설계 단계의 불확실성은 인과 효과 추정의 정밀도와 타당성에 어떻게 영향을 미치는가?
• RQ2 다양한 성향스코어 구현 방식(예: 매칭 대비 가중치)은 처리 효과 추정의 내부 및 외부 변동성에 얼마나 기여하는가?
• RQ3 베이지안 추론을 통한 설계 불확실성 평균화는 표준 PSA에 비해 평균제곱오차와 커버리지 측면에서 어떻게 비교되는가?
• RQ4 설계 결정 불확실성(DDU)은 동일한 성향스코어 값에 대해 다양한 설계 출력 간 변동성을 생성하는 데 어떤 역할을 하는가?
• RQ5 낮은 공변량 겹침 또는 높은 혼동요인 상관관계가 있는 설정에서 제안된 베이지안 접근법이 인과 추론의 견고성을 향상시킬 수 있는가?

주요 결과

• 근접 이웃 매칭과 분류 기반 방법에서 표준 PSA에 비해 베이지안 성향스코어 분석(BPSA)이 평균제곱오차(MSE)를 감소시켜 추정 정확도 향상을 보였다.
• 이중로버스트 추정과 분류 기반 방법에서 BPSA는 표준 PSA와 유사한 커버리지 수준을 달성하여 적절한 빈도주의 성질을 보였다.
• 설계 간 변동성은 성향스코어 구현 방식의 선택에 의해 크게 영향을 받았으며, 특히 매칭과 가중치 방식에서 설계 단계의 불확실성에 더 민감한 것으로 나타났다.
• 설계 내 변동성은 주로 성향스코어 추정 불확실성(DEU)에 의해 주도되었고, 설계 결정 불확실성(DDU)은 구현 출력의 추가적인 확률적 변동성 기여했다.
• 시뮬레이션 연구는 통계학자들이 성향스코어 모형과 구현 선택에서 내리는 결정이 인과 효과 추정에 전파되는 불확실성의 정도에 상당한 영향을 미친다는 것을 확인했다.
• 이 방법은 설계 불확실성을 효과적으로 평균화하여, 두 단계 성향스코어 분석에서의 불확실성 정량화에 더 체계적이고 종합적인 접근법을 제공하였다.