[논문 리뷰] Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory to Learning Algorithms

Alicia Curth, Mihaela van der Schaar|arXiv (Cornell University)|2021. 01. 26.

Advanced Causal Inference Techniques참고 문헌 33인용 수 31

한 줄 요약

논문은 CATE 추정에 대한 네 가지 메타러너의 이론적 분류와 분석(한 단계 플러그인과 세 가지 두 단계 학습자: RA, PW, DR)을 제공하고 합성 및 IHDP 유사 데이터 전반에 걸쳐 노이즈 추정 네트워크 아키텍처를 평가합니다.

ABSTRACT

The need to evaluate treatment effectiveness is ubiquitous in most of empirical science, and interest in flexibly investigating effect heterogeneity is growing rapidly. To do so, a multitude of model-agnostic, nonparametric meta-learners have been proposed in recent years. Such learners decompose the treatment effect estimation problem into separate sub-problems, each solvable using standard supervised learning methods. Choosing between different meta-learners in a data-driven manner is difficult, as it requires access to counterfactual information. Therefore, with the ultimate goal of building better understanding of the conditions under which some learners can be expected to perform better than others a priori, we theoretically analyze four broad meta-learning strategies which rely on plug-in estimation and pseudo-outcome regression. We highlight how this theoretical reasoning can be used to guide principled algorithm design and translate our analyses into practice by considering a variety of neural network architectures as base-learners for the discussed meta-learning strategies. In a simulation study, we showcase the relative strengths of the learners under different data-generating processes.

연구 동기 및 목표

• CATE 추정을 위한 서로 다른 메타러너들이 더 잘 작동하는 조건을 평가한다.
• 알고리즘 설계를 안내하기 위해 CATE 메타러너를 의미 있는 범주로 분류한다.
• 메타러너 내에서 nuisance 추정에 대한 신경망 아키텍처를 조사한다.
• 다양한 데이터 생성 과정에서 학습자들을 비교하기 위한 실용적 구현과 시뮬레이션을 제공한다.

제안 방법

• 한 단계 플러그인과 세 가지 두 단계 학습자(RA, PW, DR)를 포함하는 메타러너의 네 클래스로 분류하는 분류법을 도입한다.
• 스무스니스 가정이 있는 비모수 회귀에서 각 학습자에 대한 이론적 오차 상한과 남은 항을 도출한다.
• 점근적 및 유한표본 동작을 분석하고 DR 및 PW가 언제 오라클 속도를 달성할 수 있는지 강조한다.
• 일반 SNet 아키텍처를 포함하여 기존 SNet 변형과 TNet을 통합하는 신경망 기반 nuisance 추정기를 제안하고 평가한다.
• CATENets 및 관련 아키텍처에 대한 공개 코드 구현을 제공한다.

실험 결과

연구 질문

• RQ1 RA-, PW-, DR- 메타러너가 플러그인 학습자와 비교했을 때의 이론적 특성(속도와 잔여항)은 무엇인가?
• RQ2 DR- 및 PW- 학습자가 점근적으로 및 유한 샘플에서 플러그인 또는 RA 학습자보다 우수한 데이터 생성 조건은 무엇인가?
• RQ3 nuisance 추정을 위한 신경망 아키텍처가 CATE 메타러너 성능에 어떤 영향을 미치는가?
• RQ4 단일화된 SNet 아키텍처가 DGP 전반에서 전문화된 SNet 변형 및 TNet보다 더 나은 성능을 보일 수 있는가?
• RQ5 중첩(overlap), 교란(confounding), 및 처리 효과 희소성이 추정기 성능에 어떤 영향을 미치는가?

주요 결과

• DR-learner tends to achieve better finite-sample performance under confounding with no treatment effect.
• RA-learner can outperform others when there is confounding and a non-trivial treatment effect.
• PW-learner generally exhibits high variance and poor performance in the settings considered.
• One-step plug-in estimators can match two-step learners asymptotically when nuisance functions are similarly complex.
• A general SNet architecture that shares representations can outperform or match specialized architectures, depending on the DGP and sample size.
• Two-step learners may incur higher variance in small samples, making RA- and DR-learner advantageous mainly in larger samples or appropriate regimes.