[논문 리뷰] Double Machine Learning based Program Evaluation under Unconfoundedness

Michael C. Knaus|Econstor (Econstor)|2020. 03. 06.

Advanced Causal Inference Techniques인용 수 4

한 줄 요약

이 논문은 조건부 독립성 하에서 더블 머신러닝(DML)-기반 정책 평가에서 개인화된 치료 효과 추정을 안정화하기 위해 정규화된 DR-러닝(ND-러닝)을 제안한다. 개별화된 정규화를 역확률가중치에 적용함으로써 NDR-러닝은 표준 DR-러닝이 유도하는 극단적인 추정치를 감소시켜 유한 표본에서의 강건성을 향상시키면서도, 평균, 이질적, 최적의 치료 효과를 추정하는 데 있어 DML의 유연성과 双중-저항성(드러운)을 유지한다. 스위스 활동적 노동시장 정책 프로그램 전반에 걸쳐 적용 가능하다.

ABSTRACT

This paper reviews, applies and extends recently proposed methods based on Double Machine Learning (DML) with a focus on program evaluation under unconfoundedness. DML based methods leverage flexible prediction models to adjust for confounding variables in the estimation of (i) standard average effects, (ii) different forms of heterogeneous effects, and (iii) optimal treatment assignment rules. An evaluation of multiple programs of the Swiss Active Labour Market Policy illustrates how DML based methods enable a comprehensive program evaluation. Motivated by extreme individualised treatment effect estimates of the DR-learner, we propose the normalised DR-learner (NDR-learner) to address this issue. The NDR-learner acknowledges that individualised effect estimates can be stabilised by an individualised normalisation of inverse probability weights.

연구 동기 및 목표

• 인과 머신러닝 응용 분야에서 DR-러닝이 유한 표본에서 발생하는 개인화된 치료 효과 추정의 불안정성을 해결하기 위해.
• 개별화된 정규화를 통해 역확률가중치를 안정화시켜 추정 신뢰도를 향상시키는 방법을 개발하기 위해.
• 실제 정책 환경에서 포괄적인 정책 평가를 위한 DML 기반 방법의 실용적 유용성을 입증하기 위해.
• 탄력적인 머신러닝 모델을 사용하여 평균 효과, 이질적 효과, 최적의 치료 규칙을 통합적으로 추정하는 프레임워크를 제공하기 위해.
• 스위스 활동적 노동시장 정책을 DML 방법으로 평가하고, 케이스워커 특성이 치료 효과 변동성에 미치는 영향을 평가하기 위해.

제안 방법

• NDR-러닝은 더블 러닝 스코어에 개별화된 정규화를 적용하여 개인화된 치료 효과 추정치를 안정화시킨다.
• 이 방법은 머신러닝을 사용해 잠재적 결과와 치료 확률을 추정함으로써 이중-저항성 추정을 수행하는 DR-러닝 프레임워크를 기반으로 한다.
• 동일한 더블 러닝 스코어를 평균 효과, 이질적 효과, 최적의 치료 규칙 등 여러 추정량에 적용함으로써 계산적이고 개념적인 융합을 가능하게 한다.
• 정확한 추론을 확보하기 위해 교차-피팅을 통해 추정을 진행하며, 인과 모수에 대한 후처리로 t-검정과 OLS를 사용한다.
• 유연한 머신러닝을 통해 모델 선택과 교란 조정을 수행하면서, 표준 데이터셋을 사용해 스위스 ALMP 프로그램 4개에 적용한다.
• 최적의 치료 배정 규칙은 NDR-러닝 출력을 기반으로 한 정책 학습 절차를 통해 추정된다.

실험 결과

연구 질문

• RQ1 DR-러닝은 유한 표본에서 극단적인 개인화된 치료 효과 추정치를 생성할 수 있으며, 만약 그렇다면 이러한 불안정성의 원인은 무엇인가?
• RQ2 역확률가중치의 개별화된 정규화가 개인화된 치료 효과 추정치의 안정성과 신뢰도를 향상시키는가?
• RQ3 DML 기반 방법은 전통적인 경제학적 접근과 비교해 평균, 이질적, 최적의 치료 효과 추정에서 어떤가?
• RQ4 스위스 ALMP 맥락에서 케이스워커 특성은 개인화된 치료 효과 변동성의 원인으로 어떤 역할을 하는가?
• RQ5 이 설정에서 교차검증된 최적의 치료 배정 규칙과 전체 표본 규칙 간의 일치 정도는 어느 정도인가?

주요 결과

• DR-러닝은 극단적인 개인화된 치료 효과 추정치를 생성하였으며, 일부 값은 이론적으로 가능한 범위를 벗어나 있어 유한 표본에서의 불안정성을 시사한다.
• NDR-러닝은 역확률가중치에 개별화된 정규화를 적용함으로써 개인화된 치료 효과 추정치를 성공적으로 안정화시켰으며, 극단적인 값을 감소시켰다.
• 분류 분 析에서 케이스워커 관련 변수는 치료 효과 변동성에 거의 영향을 주지 않았으며, 이러한 계수들은 표의 하단 반분에 위치해 있었다.
• 결정 트리 기반으로 추정한 최적의 치료 배정 규칙은 교차검증된 정책과 전체 표본 정책 간에 중간 정도의 겹침을 보였으며, 5개 및 16개 공변량 모델 모두에서 일치율이 70% 이상이었다.
• DR-러닝과 NDR-러닝의 IATE 분포를 비교한 결과, 후자는 보다 집중되고 타당성 있는 효과 추정치를 생성하였다.
• 본 연구는 DML 기반 방법이 조건부 독립성 하에서 여러 프로그램을 포괄적으로, 계산적으로 효율적으로 평가할 수 있음을 확인하였으며, 강력한 통계적 성질을 지니고 있고, 다양한 추정량 간에 이중-저항성 스코어를 재사용할 수 있다.