[논문 리뷰] Optimal Multilevel Matching in Clustered Observational Studies: A Case Study of the Effectiveness of Private Schools Under a Large-Scale Voucher System

Luke Keele, José R. Zubizarreta|arXiv (Cornell University)|2014. 09. 30.

Advanced Causal Inference Techniques참고 문헌 6인용 수 5

한 줄 요약

이 논문은 군집 관찰 연구에서 새로운 최적의 다수준 매칭 전략을 제안하며, 기존의 통념을 뒤집어 치료군과 대조군의 군집 간 개인 간 매칭을 먼저 수행한 후 군집 간 매칭을 수행한다. 동적 및 정수 프로그래밍을 활용하여, 성향 스코어 추정이 필요 없이 개인 및 군집 수준에서 공변량 균형을 달성하며, 칠레의 전국 보조금 제도 하에서 사립학교의 효과를 평가하는 데 적용하였다. 그 결과, 모든 공변량 조정 이후 사립학교가 시험 성취도에서 유의미한 우위를 보이지 않았다.

ABSTRACT

A distinctive feature of a clustered observational study is its multilevel or nested data structure arising from the assignment of treatment, in a non-random manner, to groups or clusters of units or individuals. Examples are ubiquitous in the health and social sciences including patients in hospitals, employees in firms, and students in schools. What is the optimal matching strategy in a clustered observational study? At first thought, one might start by matching clusters of individuals and then, within matched clusters, continue by matching individuals. But as we discuss in this paper, the optimal strategy is the opposite: in typical applications, where the intracluster correlation is not perfect, it is best to first match individuals and, once all possible combinations of matched individuals are known, then match clusters. In this paper we use dynamic and integer programming to implement this strategy and extend optimal matching methods to hierarchical and multilevel settings. Among other matched designs, our strategy can approximate a paired clustered randomized study by finding the largest sample of matched pairs of treated and control individuals within matched pairs of treated and control clusters that is balanced according to specifications given by the investigator. This strategy directly balances covariates both at the cluster and individual levels and does not require estimating the propensity score, although the propensity score can be balanced as an additional covariate. We illustrate our results with a case study of the comparative effectiveness of public versus private voucher schools in Chile, a question of intense policy debate in the country at the present.

연구 동기 및 목표

• 치료가 군집 수준에서 할당되지만 결과가 개인 수준에서 측정되는 군집 관찰 연구에서 공변량 불균형 문제를 다루는 것.
• 개인 및 군집 수준에서 동시에 공변량을 균형 잡는 매칭 전략을 개발하여, 다수준 데이터 구조에서 인과적 추론을 향상시키는 것.
• 성향 스코어 추정에 의존하지 않으면서도 이를 추가 균형 변수로 포함할 수 있도록 하는 방법을 제공하는 것.
• 칠레의 대규모 보조금 제도 하에서 사립학교 효과를 평가하는 사례 연구를 통해 방법의 유용성을 설명하는 것.

제안 방법

• 기존의 매칭 순서를 뒤집어, 치료군과 대조군의 모든 조합의 군집 간 개인 간 매칭을 먼저 수행한 후 군집 간 매칭을 수행한다.
• 최적의 매칭을 구현하기 위해 동적 및 정수 프로그래밍을 활용하여 총 공변량 거리의 최소화 또는 균형 제약 조건 하에서 표본 크기의 최대화를 목표로 한다.
• 최적 매칭(거리 최소화)과 카디널리티 매칭(균형 잡힌 표본 크기 최대화)을 모두 지원하며, 공변량 분포 전체를 균형 잡는 데도 유연성을 제공한다.
• 직접적으로 두 수준에서 관측된 공변량을 균형 잡으며, 매칭된 군집 쌍과 개인 쌍을 형성하여 쌍화된 군집 랜덤화 실험을 근사할 수 있다.
• 세 개 이상의 수준(예: 학생이 학교에 속해 있고 학교가 지역에 속해 있는 경우)으로 확장 가능하며, 관측되지 않은 혼란 요인에 대한 민감도 분석도 지원한다.

실험 결과

연구 질문

• RQ1 치료가 군집 수준에서 할당되는 군집 관찰 연구에서 최적의 매칭 전략은 무엇인가?
• RQ2 군집보다 먼저 개인 간 매칭을 수행할 경우, 기존의 군집 우선 매칭과 비교해 개인 및 군집 수준에서 더 나은 공변량 균형을 달성할 수 있는가?
• RQ3 성향 스코어 추정 없이도 개인 및 군집 수준에서 모두 균형을 달성할 수 있는 매칭 전략이 가능한가?
• RQ4 실제 정책적 맥락, 예를 들어 전국 보조금 제도 하에서 사립학교 효과를 평가하는 데 이 방법이 어떻게 작용하는가?
• RQ5 칠레의 보조금 제도 사례 연구에서 관측되지 않은 혼란 요인에 대해 결과의 탄력성은 어느 정도인가?

주요 결과

• 제안된 방법은 개인 및 군집 수준에서 공변량을 성공적으로 균형 잡았으며, 매칭된 사립학교 학생과 공립학교 학생 간 도시 거주지 및 사회경제적 지위의 차이를 감소시켰다.
• 매칭 후 사립학교 학생 중 도시 거주자 비율은 매칭되지 않은 표본의 79%에서 매칭된 표본의 85%로 증가하여 전체 표본과 더 유사하게 조정되었다.
• 매칭된 표본에서는 사립학교 학생과 공립학교 학생 간 표준화된 시험 성취도에 미미한 차이가 있었으며, 언어 성적은 각각 244.84와 244.92였다.
• 모든 공변량 조정 이후 사립 보조금 학교가 공립학교보다 학생 성취도 향상에 유의미한 우위를 보이지 않았다.
• 민감도 분석 결과, 관측되지 않은 혼란 요인으로 인한 숨겨진 편향에 대해 결과가 탄력적이었으며, 연구 결과의 내부 타당성을 뒷받침했다.
• 이 방법은 치료군과 대조군의 군집 쌍과 그 안의 개인 쌍을 형성하여 쌍화된 군집 랜덤화 실험을 성공적으로 근사하였다.