[논문 리뷰] Estimating Treatment Effects using Multiple Surrogates: The Role of the Surrogate Score and the Surrogate Index

Susan Athey, Raj Chetty외 2명|arXiv (Cornell University)|2016. 03. 30.

Advanced Causal Inference Techniques참고 문헌 72인용 수 46

한 줄 요약

이 논문은 장기 치료 효과를 더 빠르고 정확하게 추정하기 위해 다수의 단기 결과를 하나의 예측 점수로 통합하는 '서로가치 지수(Surrogate Index)'를 소개한다. 서류 지수 조건부 독립성 가정 하에, 장기 결과와 치료 간의 관계를 단기 데이터만으로도 추정할 수 있으며, 이는 직업 훈련 응용 사례에서 표준 오차를 35% 감소시키고, 장기 결과 관찰을 위해 기다려야 할 9년의 기간을 1.5년으로 단축시킨다.

ABSTRACT

Estimating the long-term effects of treatments is of interest in many fields. A common challenge in estimating such treatment effects is that long-term outcomes are unobserved in the time frame needed to make policy decisions. One approach to overcome this missing data problem is to analyze treatments effects on an intermediate outcome, often called a statistical surrogate, if it satisfies the condition that treatment and outcome are independent conditional on the statistical surrogate. The validity of the surrogacy condition is often controversial. Here we exploit that fact that in modern datasets, researchers often observe a large number, possibly hundreds or thousands, of intermediate outcomes, thought to lie on or close to the causal chain between the treatment and the long-term outcome of interest. Even if none of the individual proxies satisfies the statistical surrogacy criterion by itself, using multiple proxies can be useful in causal inference. We focus primarily on a setting with two samples, an experimental sample containing data about the treatment indicator and the surrogates and an observational sample containing information about the surrogates and the primary outcome. We state assumptions under which the average treatment effect be identified and estimated with a high-dimensional vector of proxies that collectively satisfy the surrogacy assumption, and derive the bias from violations of the surrogacy assumption, and show that even if the primary outcome is also observed in the experimental sample, there is still information to be gained from using surrogates.

연구 동기 및 목표

• 정책적 의미가 있는 분야(예: 직업 훈련 및 교육)에서 장기 결과 관찰이 지연되는 문제를 해결하기 위해.
• 다수의 중간 결과를 하나의 서류 지수로 통합하여 장기 영향 추정의 정밀도와 속도를 향상시키기 위해.
• 개별 서류 지수의 실패가 발생하더라도 다수의 단기 대체 지표들이 함께 예측력을 발휘하므로, 이 방법이 단일 서류 지수의 유효성에 의존하지 않도록 하기 위해.
• 서류 지수의 핵심 조건부 독립성 가정을 검증하기 위한 실용적인 추정기와 검증 도구를 개발하기 위해.
• 캘리포니아의 다중 현장 직업 훈련 실험에 적용하여 실증적 유용성을 입증하고, 효율성과 시기적 적절성 측면에서 뚜렷한 향상을 보여주기 위해.

제안 방법

• 서로가치 지수(Surrogate Index)는 관측된 단기 결과와 치료 이전 공변량 조건 하에서 장기 결과의 조건부 기대값으로 정의되며, 모든 가용한 단기 정보를 효과적으로 요약한다.
• 이 방법은 장기 결과가 서로가치 지수 조건 하에서 치료와 조건부 독립이 되는 가정에 기반하며, 이는 단일 중간 결과가 유효한 서류 지수일 필요가 없음을 약화시킨다.
• 장기 결과에 대한 치료 효과는 서로가치 지수에 대한 치료 효과로 식별되며, 이는 장기 결과를 직접 관측하지 않고도 추정이 가능하다는 것을 의미한다.
• 서구성 가정이 위반될 경우의 편향에 대한 실용적인 분산 범위와 보정을 유도하며, 추가 보조 결과를 활용하여 가정을 검증한다.
• 서로가치 지수의 구조를 활용하는 효율적인 추정기를 제안하여, 장기 결과가 관측되는 경우에도 정밀도를 향상시킨다.
• 이 방법은 시뮬레이션을 통해 검증되었으며, 단기 고용률을 장기 고용 결과의 서류 지수로 사용하여 실제 직업 훈련 실험에 적용되었다.

실험 결과

연구 질문

• RQ1 단일 결과가 표준 서류 지수 가정을 충족하지 못하더라도, 다수의 단기 결과를 하나의 지수로 통합하여 장기 치료 효과를 정확히 예측할 수 있는가?
• RQ2 기존 방법과 비교할 때 서류 지수의 사용은 추정 정밀도와 추론 속도 측면에서 어떻게 다른가?
• RQ3 조건부 독립성 가정이 위반될 경우 편향에 대한 실용적인 경계는 무엇이며, 이를 보조 데이터를 활용해 어떻게 평가할 수 있는가?
• RQ4 특히 장기 결과 관찰에 오랜 지연이 발생하는 상황에서, 서류 지수 방법이 표준 오차를 얼마나 줄일 수 있는가?
• RQ5 추가로 관측된 결과를 활용하여 서류 지수 가정의 타당성을 어떻게 실증적으로 검증할 수 있는가?

주요 결과

• 서로가치 지수를 사용함으로써, 9년 후 고용 결과에 대한 직업 훈련 프로그램의 장기 영향을 1.5년 만에 추정할 수 있었으며, 기다려야 할 시간을 80% 이상 단축시켰다.
• 직접 장기 결과를 사용한 추정과 비교해 표준 오차가 35% 감소하여 정밀도가 크게 향상되었다.
• 서로가치 지수 방법은 장기 데이터 분석 결과와 동일한 치료 효과를 식별하여, 장기 영향을 정확하게 예측할 수 있음을 입증했다.
• 장기 결과가 관측되는 경우에도 서로가치 지수를 사용할 경우 더 정밀한 추정치를 도출할 수 있어, 효율성 우수성을 보여주었다.
• 모델 잘못 설정 시 편향에 대한 실용적 경계를 제공하며, 보조 결과를 활용해 핵심 조건부 독립성 가정을 검증할 수 있다.
• 캘리포니아의 직업 훈련 실험에서의 실증 결과는 단기 고용률을 서류 지수로 통합함으로써 장기 노동시장 영향에 대한 신뢰할 수 있고 신속한 추론이 가능하다는 것을 확인했다.