[논문 리뷰] Is it who you are or where you are? Accounting for compositional differences in cross-site treatment variation

Benjamin Lu, Eli Ben‐Michael외 2명|arXiv (Cornell University)|2021. 03. 26.

Advanced Causal Inference Techniques참고 문헌 39인용 수 6

한 줄 요약

이 논문은 다기관 임상 시험에서 치료 효과의 변동성을 구성적(개별 수준의 공변량) 요인과 맥락적(기관 수준) 요인으로 분리하기 위해 근사 균형 가중치를 사용하는 새로운 방법을 제안한다. 각 기관을 개별 특성의 공통 목표 분포로 재가중하여, 복지에서 일자리로 전환 프로그램에서 관찰된 치료 효과 이질성의 10% 미만이 구성적 차이에서 기인하며, 맥락적 요인이 주요 역할을 한다는 점을 입증한다.

ABSTRACT

Multisite trials, in which treatment is randomized separately in multiple sites, offer a unique opportunity to disentangle treatment effect variation due to "compositional" differences in the distributions of unit-level features from variation due to "contextual" differences in site-level features. In particular, if we can re-weight (or "transport") each site to have a common distribution of unit-level covariates, the remaining effect variation captures contextual differences across sites. In this paper, we develop a framework for transporting effects in multisite trials using approximate balancing weights, where the weights are chosen to directly optimize unit-level covariate balance between each site and the target distribution. We first develop our approach for the general setting of transporting the effect of a single-site trial. We then extend our method to multisite trials, assess its performance via simulation, and use it to analyze a series of multisite trials of welfare-to-work programs. Our method is available in the balancer R package.

연구 동기 및 목표

• 다기관 무작위 시험에서 치료 효과의 변동성을 구성적(단위 수준) 요인과 맥락적(기관 수준) 요인으로 분리하는 데 도전하는 것.
• 공통 목표 분포의 단위 수준 공변량에 치료 효과를 이식할 수 있는 강력한 방법을 개발하여 공정한 기관 간 비교를 가능하게 하는 것.
• 기존의 역확률가중치(IPW) 및 엔트로피 균형법을 개선하여 고차원 공변량을 다룰 수 있고, 목표 집단의 단위 수준 데이터에 의존하지 않는 것.
• 실제 다기관 복지에서 일자리로 전환 시험에 이 방법을 적용하고 검증하여 단위 특성과 기관 특성이 치료 효과 이질성에 기여하는 비율을 밝혀내는 것.
• 복잡한 공변량 구조를 가진 관찰적 및 실험적 설정에서 효과 일반화를 위한 확장 가능하고 계산 효율적인 프레임워크를 제공하는 것.

제안 방법

• 이 방법은 각 기관과 사전에 지정된 공변량의 목표 분포 사이의 단위 수준 공변량 균형을 직접 최적화하기 위해 근사 균형 가중치를 사용한다.
• 가중치는 고차항 상호작용 및 커널화된 특징을 포함한 관측된 공변량의 불균형을 최소화하도록 선택되며, 볼록 최적화 문제를 통해 해결된다.
• 이 방법은 각 기관의 치료 효과를 공통 목표로 이식함으로써 다기관 시험에 확장되며, 구성적 조정 후 잔여 변동성을 비교할 수 있게 한다.
• 이 방법은 고차원 공변량을 지원하며, 기존 IPW나 엔트로피 균형법과 달리 목표 집단의 단위 수준 데이터 접근이 필요하지 않다.
• 이중 강건 프레임워크를 사용하여 가중치와 결과 모델링을 결합함으로써 효율성과 강건성을 향상시킨다.
• 이 방법은 실무 연구에 활용하기 위해 R 패키지 'balancer'에 구현되어 있다.

실험 결과

연구 질문

• RQ1 다기관 시험에서 치료 효과의 변동성이 개인의 구성(예: 소득, 교육 수준) 차이에서 비롯되는 정도는 어느 정도이며, 기관 수준의 맥락적 요인에 기인하는가?
• RQ2 기본 공변량 분포가 크게 다를 경우, 기관 간에 치료 효과를 의미 있게 비교할 수 있는가?
• RQ3 각 기관 간 단위 수준 공변량을 균형 잡는 재가중 접근법이 기존 방법보다 맥락적 효과 이질성의 신뢰성 있는 추정치를 제공할 수 있는가?
• RQ4 목표 분포의 선택이 기관 수준 치료 효과 이질성 해석에 어떤 영향을 미치는가?
• RQ5 다기관 복지에서 일자리로 전환 프로그램에서 전체 치료 효과 이질성에 대해 구성적 요인과 맥락적 요인이 각각 기여하는 비율은 어느 정도인가?

주요 결과

• 59개의 복지에서 일자리로 전환 프로그램 기관에서 관찰된 치료 효과의 총 이질성 중 단위 수준 공변량(소득, 교육 수준, 가구 규모 등)의 구성적 차이에서 기인하는 비율은 10% 미만이었다.
• 모든 기관을 공통 목표 분포로 재가중한 후, NEWWS 실험은 가장 낮은 치료 효과를 보였으며, 이는 초기 비조정 추정치에서 GAIN이 가장 효과적이라고 평가된 것과 정반대였다.
• PI 실험은 이식 후 추정된 치료 효과와 불확실성이 크게 증가하여, 원래 결과가 비대표적인 참가자 특성에 의해 왜곡되었음을 시사했다.
• 이러한 근사 균형 가중치 방법은 고차원 공변량에서 기존의 역확률가중치(IPW)보다 균형과 안정성 측면에서 뛰어났다.
• 이 방법은 서로 다른 단위 수준 공변량 분포의 영향을 제거함으로써 기관 수준 효과를 직접 비교하는 데 성공했다.
• 분석 결과, 기관 수준 정책, 프로그램 설계, 지역 노동시장 조건 등의 맥락적 요인이 관측된 치료 효과 변동의 대부분을 차지하는 것으로 드러났다.