[논문 리뷰] Debiased Bayesian inference for average treatment effects

Kolyan Ray, Botond Szabó|arXiv (Cornell University)|2019. 09. 26.

Advanced Causal Inference Techniques인용 수 5

한 줄 요약

이 논문은 평균 치료 효과(Average Treatment Effect, ATE)의 베이지안 추론을 위한 데이터 기반 탈편향 방법을 제안한다. 이 방법은 임의의 비모수적 사전분포(특히 가우시안 프로세스 사전분포)를 적응적으로 수정하여 제1차 후행 분포 편향을 보정한다. 이는 추정치의 정확도와 신뢰도 측정 능력을 크게 향상시키며, 합성 및 반합성 데이터에서 최신 기법들과 경쟁 가능한 성능을 보인다.

ABSTRACT

Bayesian approaches have become increasingly popular in causal inference problems due to their conceptual simplicity, excellent performance and in-built uncertainty quantification ('posterior credible sets'). We investigate Bayesian inference for average treatment effects from observational data, which is a challenging problem due to the missing counterfactuals and selection bias. Working in the standard potential outcomes framework, we propose a data-driven modification to an arbitrary (nonparametric) prior based on the propensity score that corrects for the first-order posterior bias, thereby improving performance. We illustrate our method for Gaussian process (GP) priors using (semi-)synthetic data. Our experiments demonstrate significant improvement in both estimation accuracy and uncertainty quantification compared to the unmodified GP, rendering our approach highly competitive with the state-of-the-art.

연구 동기 및 목표

• 비모수적 사전분포(예: 가우시안 프로세스 포함)를 사용할 때 발생하는 제1차 후행 편향 문제를 지속적으로 해결하기 위해.
• 진정한 반응 표면에 대한 사전 지식이 필요 없이도 후행 편향을 보정할 수 있는 일반적이고 데이터 기반의 방법을 개발하기 위해.
• 결측된 반대조건 반응과 선택 편향이 존재하는 관찰적 인과 추론에서 추정 정확도와 신뢰도 측정(신뢰구간을 통한)을 향상시키기 위해.
• 표준 GP 사전분포가 BART 및 듀얼로버런트 추정기와 같은 최신 기법들과 경쟁 가능하게 만들 수 있도록 탈편향이 가능함을 보여주기 위해.
• 공변수 분포의 랜덤라이제이션이 ATE 추정에서 신뢰도 측정에 유리하지만 반드시 필요하지 않음을 보여주기 위해.

제안 방법

• 제안된 방법은 추정된 선택도수 점수를 기반으로 한 데이터 기반 조정을 통해 가우시안 프로세스의 사전 공분산 커널을 수정한다.
• 탈편향 보정은 치료 배정에서의 선택 편향을 고려하여 ATE의 후행 분포가 진짜 값 주변에 중심이 오도록 한다.
• 기존 사전분포의 구조에 종속되지 않으며, 임의의 비모수적 사전분포에 적용 가능하며, GP 사전분포를 주요 사례로 사용한다.
• 보정은 사전분포의 평균 함수를 추정된 선택도수 점수에 맞게 조정하여 후행 분포를 효과적으로 재중심화함으로써 구현된다.
• 반세미모수적 버르슈타인-반 마이어스 정리에 따라, 신뢰구간의 점근적 빈도적 커버리지가 95%를 확보한다.
• 시뮬레이션과 반합성 데이터를 통한 검증을 통해, 일반 GP, BART, 듀얼로버런트 추정기와의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 비모수적 사전분포에 대한 데이터 기반 수정이 평균 치료 효과 추정에서 제1차 후행 편향을 보정할 수 있는가?
• RQ2 GP 사전분포에 선택도수 점수를 통합함으로써 관찰 연구에서 추정 정확도와 신뢰도 측정이 어떻게 향상되는가?
• RQ3 제안된 탈편향 방법이 BART 및 듀얼로버런트 추정기와 같은 최신 인과 추론 기법들과 경쟁 가능한 GP 기반 베이지안 추론을 가능하게 하는가?
• RQ4 공변수 분포의 랜덤라이제이션은 ATE 및 CATE에 대한 신뢰도 측정에 어떤 영향을 미치는가?
• RQ5 이 탈편향 프레임워크는 가우시안 프로세스를 초월한 다른 비모수적 사전분포로 일반화될 수 있는가?

주요 결과

• 제안된 탈편향 GP 방법은 특히 복잡한 반응 표면과 고차원 설정에서 일반 GP 사전분포보다 추정 정확도와 신뢰도 측정에서 뚜렷한 우월성을 보였다.
• 합성 시뮬레이션에서 일반 GP 방법은 표본 크기가 증가함에 따라도 여전히 비소거 편향을 보였으며, 후행 분포가 잘못된 값 주변에 집중되어 신뢰도 측정이 악화되었다.
• 탈편향 방법은 거의 이상적인 95% 빈도적 커버리지 성능을 달성하였으며, 수정되지 않은 GP 사전분포보다 훨씬 우수한 校정(캘리브레이션)을 보였다.
• IHDP 데이터셋에서 탈편향 GP는 BART와 인과 숲(Causal Forest)보다 추정 정확도에서 뛰어났지만, BCF가 가장 우수했으며, 탈편향 GP는 높은 커버리지로 가장 신뢰할 수 있는 신뢰도 측정을 제공했다.
• 공변수 분포의 랜덤라이제이션은 ATE의 신뢰도 측정을 향상시켰지만, 방법의 성능을 확보하는 데 필수적인 것은 아니었으며, 이는 탈편향 보정의 강건성을 시사한다.
• 성능 향상의 근본 원인은 후행 분산의 증가가 아니라 편향 보정에 기인한다. 이는 신뢰구간 길이가 거의 증가하지 않았음에도 불구하고 커버리지가 향상된 것으로 확인되었기 때문이다.