[논문 리뷰] What Is the Value Added by Using Causal Machine Learning Methods in a Welfare Experiment Evaluation?

Anthony Strittmatter|arXiv (Cornell University)|2018. 12. 16.

Advanced Causal Inference Techniques인용 수 6

한 줄 요약

이 연구는 Jobs First 복지 실험을 분석할 때 인과적 기계학습(CML) 방법이 기존 추정기보다 가치가 있는지 평가한다. 랜덤 포레스트와 인과 포레스트를 사용한 이중 기계학습을 통해, 많은 공변량과 연속형 처리 효과를 모델링할 경우 CML 방법이 이론적 노동 공급 예측을 지지할 수 있음을 보여주며, 모델 제약과 부적절한 공변량으로 인해 기존 CATE 추정기들이 놓친 증거를 제공한다.

ABSTRACT

Recent studies have proposed causal machine learning (CML) methods to estimate conditional average treatment effects (CATEs). In this study, I investigate whether CML methods add value compared to conventional CATE estimators by re-evaluating Connecticut's Jobs First welfare experiment. This experiment entails a mix of positive and negative work incentives. Previous studies show that it is hard to tackle the effect heterogeneity of Jobs First by means of CATEs. I report evidence that CML methods can provide support for the theoretical labor supply predictions. Furthermore, I document reasons why some conventional CATE estimators fail and discuss the limitations of CML methods.

연구 동기 및 목표

• Jobs First 복지 실험을 평가하는 데 있어 인과적 기계학습(CML) 방법이 기존 조건부 평균 처리 효과(CATE) 추정기보다 추가적인 가치를 제공하는지 평가하기 위해.
• 기존 CATE 추정기—특히 국소 상수 모델—가 데이터가 가용할 때조차도 확립된 노동 공급 이론 예측을 지지하지 못하는 이유를 규명하기 위해.
• Jobs First 프로그램의 맥락에서 CATE와 분위수 처리 효과(QTE)가 포함된 정보 또는 동일한 정보를 담고 있는지 조사하기 위해.
• CML 추정에서 교란 변수 조정과 고차원 공변량의 중요성을 평가하여 타당한 인과 추론을 위해 필수적인지 확인하기 위해.

제안 방법

• 랜덤 포레스트와 인과 포레스트 추정기를 사용한 이중 기계학습(DML)을 통해 무작위 실험에서 CATE를 추정한다.
• 모든 가용한 외생 변수를 포함하기 위해 주방 식판 공변량을 사용한 수정된 결과 접근법을 적용하여 효과 이질성에 대한 분석을 강화한다.
• 트리 기반 알고리즘(랜덤 포레스트)을 통한 데이터 기반의 하위군 설정을 통해 수동으로 군집을 선정하는 것과 과적합 위험을 줄이기 위해 노력한다.
• CML 방법으로부터의 CATE 추정치를 Bitler, Gelbach, and Hoynes (2006)의 QTE 추정치와 비교하여 정보 중첩 여부를 평가한다.
• 잠재 수익과 시뮬레이션된 수익 분포 간의 동일성을 공식적으로 검정하기 위해 코모고로프-스미르노프 검정을 시행한다. 이는 CATE와 QTE가 포함된 정보가 중첩되는지 여부를 평가하기 위함이다.
• 고차원 공변량 공간에서의 미세한 불균형을 보정하기 위해 DML 프레임워크 내에서 교란 변수 조정을 구현한다.

Figure 1: Earnings and welfare transfers under AFDC and Jobs First.

실험 결과

연구 질문

• RQ1 Causal machine learning 방법은 Jobs First 실험에서 기존 CATE 추정기보다 이론적 노동 공급 예측에 더 강한 실증적 지지를 제공하는가?
• RQ2 왜 기존 CATE 추정기, 예를 들어 국소 상수 모델은 데이터가 가용할 때조차도 노동 공급 이론과 일치하는 효과 이질성을 파악하지 못하는가?
• RQ3 이 맥락에서 CML 방법으로 추정된 CATE는 어느 정도 QTE와 동일한 정보를 포함하는가?
• RQ4 CML 방법을 사용한 타당한 CATE 추정에 있어 교란 변수 조정과 고차원 공변량의 포함이 얼마나 중요한가?
• RQ5 CML 방법은 QTE가 포착할 수 있는 바와 같이 수익 분포의 질량점(예: 0 수익 질량점)을 탐지할 수 있는가?

주요 결과

• 특히 주방 식판 공변량을 사용한 랜덤 포레스트와 인과 포레스트를 활용한 인과적 기계학습 방법은 Jobs First 실험에서 이론적 노동 공급 예측에 실증적 지지를 성공적으로 제공한다.
• 기존 CATE 추정기는 주로 하위군 선택이 비최적화되고, 그룹 내에서 효과가 일정하다는 가정이 잘못되었으며, 공변량 집합이 부족하기 때문에 실패한다. 이는 데이터가 관련 이질성을 담고 있음에도 불구하고 그렇다.
• 교란 변수 조정이 없는 수정된 결과 방법은 랜덤 포레스트 추정기조차도 이론적 예측을 지지하지 못한다. 이는 고차원 설정에서 교란 변수 조정이 필수적임을 강조한다.
• CATE와 QTE는 동일한 정보를 담고 있지 않다: 코모고로프-스미르노프 검정 결과 잠재 수익과 시뮬레이션된 수익 분포 간의 동일성이 기각되었으며, 이는 CATE가 0 수익 질량점 같은 질량점을 완전히 포착하지 못함을 시사한다.
• CML 방법은 결과 분포의 질량점을 탐지하지 못하며, 이는 정책의 전반적 분포적 영향을 완전히 반영하지 못함을 제한한다.
• CML의 추가 가치는 조건부이다: 관련 공변량이 많고 연속형 처리 효과를 모델링할 때만 나타나며, 제약이 있는 모델링 가정이 적용될 경우 나타나지 않는다.

Figure 2: CATEs by difference between earnings and FPL (per quarter).