[논문 리뷰] Uncertain Neighbors: Bayesian Propensity Score Matching For Causal Inference

R. Michael Alvarez, Inés Levin|arXiv (Cornell University)|2021. 05. 05.

Advanced Causal Inference Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 사후 확률 샘플을 점추정치 대신 사용하여 성향 스코어 추정의 불확실성을 반영함으로써 더 임의적인 매칭 결정을 줄이는 베이지안 성향 스코어 매칭(BPSM)을 제안한다. 시뮬레이션과 콜롬비아 땅개혁 연구의 재현 분석에서, 표준 PSM이 고정된 점추정치에 의존하는 데 비해 BPSM는 더 견고하고 편향이 적은 치료 효과 추정치를 제공하며, 불확실성의 정량화 수준이 높다.

ABSTRACT

We compare the performance of standard nearest-neighbor propensity score matching with that of an analogous Bayesian propensity score matching procedure. We show that the Bayesian approach makes better use of available information, as it makes less arbitrary decisions about which observations to drop and which ones to keep in the matched sample. We conduct a simulation study to evaluate the performance of standard and Bayesian nearest-neighbor matching when matching is done with and without replacement. We then use both methods to replicate a recent study about the impact of land reform on guerrilla activity in Colombia.

연구 동기 및 목표

• 표준 성향 스코어 매칭(PSM)이 추정된 성향 스코어를 알려진 값으로 간주하여 추정 불확실성을 忽시하는 한계를 해결하기 위해.
• 성향 스코어의 사후 샘플을 사용하여 매칭을 확률적으로 결정하는 베이지안 대안을 개발하고 평가하기 위해.
• 표준 PSM에 비해 평균 치료 효과(AVE) 추정치가 더 신뢰성 있고 편향이 적은지 확인하기 위해.
• 표준 오차 추정을 위한 사후 샘플링이나 부트스트랩을 피하는 실용적이고 구현 가능한 베이지안 방법을 제공하기 위해.
• 불확실성 인식 매칭 하에서 BPSM와 PSM의 결과를 비교하기 위해 콜롬비아의 땅개혁과 반군 활동에 관한 실제 연구를 재현하기 위해.

제안 방법

• 성향 스코어 모델을 베이지안 추론을 통해 추정하여 각 관측치에 대해 성향 스코어의 사후 분포를 생성한다.
• 단일 점추정치를 사용하는 대신, BPSM는 각 단위의 성향 스코어 사후 분포에서 다수의 샘플을 추출한다.
• 각 사후 샘플을 사용하여 최근접 이웃 매칭을 수행함으로써, 거리 측도의 불확실성을 반영하는 확률적 매칭 과정을 구현한다.
• 다중 샘플에 걸쳐 결과를 집계하여 치료 효과의 점추정치와 신뢰구간을 계산하고, 부트스트랩을 피한다.
• 시뮬레이션 연구와 콜롬비아의 땅개혁 및 게릴라 활동에 관한 실제 연구의 재현에 이 방법을 적용한다.
• 성향 스코어 모델과 결과 모델의 공동 사후 분포에서 샘플링하기 위해 마르코프 체인 몬테카를로(MCMC) 기법을 사용하여 불확실성 전파를 보장한다.

실험 결과

연구 질문

• RQ1 성향 스코어 추정의 불확실성을 매칭 방법에 통합할 경우, 평균 치료 효과 추정치의 신뢰성과 정밀도에 어떤 영향을 미치는가?
• RQ2 베이지안 성향 스코어 매칭(BPSM)은 표준 PSM에 비해 단위 유지 결정의 임의성을 줄이는가?
• RQ3 다른 매칭 조건(재배치 여부에 관계없이)에서 BPSM와 표준 PSM는 치료 효과 추정치의 분산과 편향 측면에서 어떻게 비교되는가?
• RQ4 실제 적용 사례에서 불확실성 인식 매칭은 표준 오차와 신뢰구간에 어떤 영향을 미치는가?
• RQ5 고위험 정책 분석, 예를 들어 땅개혁이 반군 활동에 미치는 영향을 분석할 때, BPSM는 PSM과 비교해 본질적으로 다른 치료 효과 추정치를 도출할 수 있는가?

주요 결과

• 시뮬레이션에서 BPSM는 표준 PSM에 비해 치료 효과 추정치의 분산이 더 작았으며, 이는 불확실성 통합으로 인한 정밀도 향상과 편향 감소를 시사한다.
• 콜롬비아 땅개혁 연구의 재현 분석에서, BPSM는 ATE가 13.31로 더 작고 통계적으로 유의미하지 않은 결과를 도출했으며, 95% 신뢰구간은 (-7.01 ~ 30.46)로 넓어졌고, PSM의 유의미한 추정치 34.57과 더 큰 표준 오차를 보였다.
• 시군-연도 데이터셋에 대해 BPSM는 PSM보다 더 작은 ATE 추정치를 도출했으며, 크기의 감소와 더 높은 분산을 보였고, 이는 불확실성 하에서 더 경계가 있는 추론을 반영한다.
• 베이지안 접근은 사후 샘플링이나 매칭 후 시뮬레이션을 피할 수 있도록 하여, 자연스럽게 불확실성을 사후 추론에 통합했다.
• BPSM는 더 균형 잡힌 공변량과 더 임의적인 단위 선택을 줄였으며, 다수의 매칭 샘플에서 일관된 제어 단위 사용을 통해 이를 뒷받침했다.
• 전반적인 단위 사용 패턴이 유사했음에도 불구하고, BPSM는 확률적으로 추가 제어 단위를 포함하여 더 견고하고 극단적이지 않은 치료 효과 추정치를 도출하는 데 기여했다.