[논문 리뷰] Evaluating Ex Ante Counterfactual Predictions Using Ex Post Causal Inference

Michael Gechter, Cyrus Samii외 2명|arXiv (Cornell University)|2018. 06. 19.

Advanced Causal Inference Techniques참고 문헌 64인용 수 10

한 줄 요약

이 논문은 랜덤화 실험에서의 사후 원인 인과 분석을 사용하여 최적의 치료 제도에 대한 사전 대체 예측을 평가하기 위한 의사결정 이론 프레임워크를 제안한다. 이는 구조 모델, 단순형 외삽, 전문가 의견과 같은 방법들 간의 통계적 비교를 가능하게 하며, 실제 실험 설정에서 복지 기반 성능을 평가함으로써, 적절하게 집계된 외부 실험 데이터가 모델 내부 추정보다 더 신뢰할 수 있는 정책 권고를 도출할 수 있음을 보여준다.

ABSTRACT

We derive a formal, decision-based method for comparing the performance of counterfactual treatment regime predictions using the results of experiments that give relevant information on the distribution of treated outcomes. Our approach allows us to quantify and assess the statistical significance of differential performance for optimal treatment regimes estimated from structural models, extrapolated treatment effects, expert opinion, and other methods. We apply our method to evaluate optimal treatment regimes for conditional cash transfer programs across countries where predictions are generated using data from experimental evaluations in other countries and pre-program data in the country of interest.

연구 동기 및 목표

• 최적의 치료 제도를 위한 사전 정책 권고를 생성하는 방법들의 상대적 성능을 평가하기 위한 공식적이고 복지 기반의 프레임워크를 개발하는 것.
• 구조 모델, 단순형 외삽, 전문가 의견과 같은 방법들 간의 성능 차이가 통계적으로 유의미한지 평가하는 것, 특히 최적의 치료 제도를 예측할 때.
• 특히 모델 잘못 설정이 우려되는 상황에서, 유사한 맥락에서의 외부 실험 데이터가 맥락 내 모델 추정치보다 최적의 정책을 더 잘 예측할 수 있는지 평가하는 것.
• 순수한 통계적 적합도가 아니라 복지 목표에 기반한 원칙적인 근거를 제공함으로써 정책 평가에서 방법 선택을 위한 결정 중심의 기반을 마련하는 것.
• 개별 실험에서 평균 치료 효과 추정치보다 더 많은 决策 관련 정보를 포함하고 있으며, 이러한 정보가 맥락 간 집계될 수 있는지 평가하는 것.

제안 방법

• 플래너가 제약 조건 하에 기대 복지를 최대화하도록 정책을 선택하는 데 사용되는 선형 사회 복지 함수를 사용하여 치료 제도 권고를 평가하는 프레임워크.
• 두 정책 권고 방법 l과 m 간의 기대 복지 차이를 가중치 함수 g(잠재 결과)에 따라 정의된 복지 차이 측도 Δ^g_lm를 통해 방법들을 비교.
• 선택 확률을 성향 스코어 p(W_i)를 통해 조정하기 위해 관측 데이터를 사용하여 복지 차이를 추정하기 위해 역확률 가중치를 활용.
• 일반화된 모멘트 방법(GMM)을 사용하여 점근 정규성과 추론을 확립하며, 복지 차이의 일관된 분산 추정량은 스코어 방정식에서 유도된다.
• 목표 맥락에서 랜덤화 실험의 실제 결과와 예측된 최적 제도를 비교함으로써 사전 예측의 사후 평가를 가능하게 한다.
• 프레임워크는 복지 성능 기반의 모델 평균화 또는 선택을 포함하도록 확장되었으며, 다중 맥락 응용에서 사이트 선택 편향을 고려한다.

실험 결과

연구 질문

• RQ1 랜덤화 실험에서의 사후 원인 인과 분석을 사용하여 최적의 치료 제도에 대한 다양한 사전 예측 방법들의 상대적 성능을 통계적으로 평가할 수 있는가?
• RQ2 실제 실험 결과와 비교할 때, 구조 모델, 단순형 외삽, 전문가 의견은 복지 최대화 치료 배정을 예측하는 데 어떻게 비교되는가?
• RQ3 특히 모델 잘못 설정이 존재하는 상황에서, 유사 맥락의 외부 실험 데이터가 맥락 내 모델 추정치보다 최적의 정책을 더 잘 예측할 수 있는가?
• RQ4 복지 목표에 기반한 의사결정 이론 프레임워크는 전통적인 통계적 적합도 측도보다 방법 선택에 더 원칙적인 기반을 제공하는가?
• RQ5 개별 실험에는 평균 치료 효과 이외의 결정 관련 정보가 얼마나 포함되어 있으며, 이러한 정보는 어떻게 맥락 간 집계될 수 있는가?

주요 결과

• 제안된 방법은 두 정책 권고 방법 간 복지 차이에 대해 일관되고 점근 정규성을 보장하는 추정량을 제공하며, 이는 상대적 성능에 대한 통계적 추론을 가능하게 한다.
• 사후 평가 결과, 외부 실험 데이터에 기반한 단순형 방법이 내부적으로는 타당하지만 잘못 설정된 맥락 내 구조 모델보다 성능이 뛰어나는 것으로 나타났다.
• 프레임워크는 외부 데이터에 의존하는 방법이 맥락 내 모델보다 더 높은 복지 성능을 달성할 수 있음을 보여주며, 특히 사전 치료 데이터가 제한적이거나 식별력이 약한 맥락에서 그러한 경향이 뚜렷하다.
• 이 방법은 각 랜덤화 실험에서 평균 치료 효과보다 더 많은 결정 관련 정보를 포함하고 있으며, 특히 치료 반응의 이질성을 모델링할 경우 더욱 그렇다.
• 이 프레임워크에서 유도된 복지 기준에 기반한 모델 평균화 또는 선택은 기존 방법보다 향상된 예측 성능을 이끌 수 있다.
• 이 방법은 복지 목표의 선택에 민감한 방식으로 방법을 순위 매길 수 있는 원칙적인 방법을 제공하며, 사회 계획자의 목표를 명시적으로 정의하는 것이 중요함을 강조한다.