[논문 리뷰] Estimation and Inference about Conditional Average Treatment Effect and Other Structural Functions

Vira Semenova, Victor Chernozhukov|arXiv (Cornell University)|2017. 02. 21.

Advanced Causal Inference Techniques인용 수 9

한 줄 요약

이 논문은 고차원적 제어 변수가 존재할 때, 조건부 평균 치료 효과와 같은 낮은 차원의 비모수 함수에 대해 추정하고 타당한 통계적 추론을 수행하기 위한 더블 로버스트 추론 프레임워크를 개발한다. 기계학습을 통해 추정된 부수적 함수에 대해 신호를 직교화함으로써, 부수적 함수가 알려져 있는 것처럼 점근적으로 정규 분포를 따르는 추론을 달성하며, GATE와 같은 구조 함수에 대한 타당한 추론을 가능하게 한다.

ABSTRACT

Our framework can be viewed as inference on low-dimensional nonparametric functions in the presence of high-dimensional nuisance function (where dimensionality refers to the number of covariates). Specifically, we consider the setting where we have a signal $Y=Y(\eta_0)$ that is an unbiased predictor of causal/structural objects like treatment effect, structural derivative, outcome given treatment, and others, conditional on a set of very high dimensional controls $Z$. We are interested in simpler lower-dimensional nonparametric summaries of $Y$, namely $g(x)=E[Y|X=x]$ conditional on a low-dimensional subset of covariates $X$. The signal $Y=Y(\eta)$ depends on an unknown nuisance function $\eta_0(Z)$. In the first stage, we need to learn the function $\eta_0(Z)$ using any machine learning method that is able to approximate $\eta$ accurately under very high dimensionality of $Z$. For example, under approximate sparsity with respect to a dictionary, $\ell_1$-penalized methods can be used; in others, tools such as deep neural networks can be used. To make the subsequent inference valid, we make the signal orthogonal to perturbations of $\eta$. As a result, the second-stage low-dimensional nonparametric inference enjoys the quasi-oracle properties, as if we knew $\eta_0$. In the second stage, we approximate the target function $g(x)$ by a linear form $p(x)'\beta_0$, where $\beta_0$ is the Best Linear Predictor parameter. We develop a complete set of results about estimation and approximately Gaussian inference on $x \mapsto p(x)'\beta$ and $x \mapsto g(x)$. If $p(x)$ is sufficiently rich and $g(x)$ admits a good approximation, then $g(x)$ gets automatically targeted by the inference; otherwise, the best linear approximation $p(x)'\beta$ to $g(x)$ gets targeted. When $p(x)$ is specified as a collection of group indicators, $p(x)'\beta$ describes group-average treatment effects (GATEs).

연구 동기 및 목표

• 고차원적 제어 변수가 존재하는 상황에서 낮은 차원의 비모수 요약 통계량에 대한 타당한 통계적 추론을 가능하게 하기 위해.
• 인과 추론 환경에서 고차원 부수적 함수로 인한 추정 편향 문제를 해결하기 위해.
• 부수적 함수가 고차원 데이터에서 추정되더라도, 조건부 평균 치료 효과와 같은 함수에 대해 점근적으로 정규 분포를 따르는 추론을 달성하기 위한 방법을 개발하기 위해.
• 고차원 부수적 성분의 추정 방법에 관계없이, 구조 함수에 대한 추론이 강건하고 효율적이도록 보장하기 위해.
• 치료 효과, 구조 도함수, 결과 회귀 분석을 포함한 다양한 구조 함수에 일반적으로 적용 가능한 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 문제를 두 단계로 분해한다: 첫째, lasso나 딥 네URAL 네트워크와 같은 기계학습 기법을 사용하여 고차원 부수적 함수 η₀(Z)를 추정한다.
• 신호 Y(η)는 η의 변동에 대해 직교하도록 구성되어, η에 대한 추정 오차가 목표 파rameter의 점근적 분포에 영향을 주지 않도록 보장한다.
• 두 번째 단계에서 목표 함수 g(x) = E[Y|X=x]는 기저 함수 p(x)와 β₀의 선형 형태 p(x)'β₀로 근사된다.
• 이 프레임워크는 네이먼-직교 estimating 방정식을 사용하여 β₀의 추정이 η₀의 추정 오차에 대해 강건해지도록 하여 점근적 정규성을 보장한다.
• 이 방법은 g(x)의 매끄러움에 적응한다: g(x)가 p(x)'β로 잘 근사될 경우 g(x)를 목표로 하고, 그렇지 않으면 g(x)의 최적 선형 근사를 목표로 한다.
• p(x)가 그룹 지표로 구성되어 있을 경우, 이 방법은 그룹 평균 치료 효과(GATEs)를 타당하게 추정한다.

실험 결과

연구 질문

• RQ1 고차원적 제어 변수가 존재할 때, 낮은 차원의 비모수 함수에 대해 타당한 점근적 정규 분포 추론을 달성할 수 있는가?
• RQ2 부수적 함수의 추정이 목표 구조 함수에 대한 추론에 편향을 주지 않도록 보장하는 방법은 무엇인가?
• RQ3 진정한 조건부 평균 치료 효과를 목표로 하는 데 필요한 조건은 무엇인가?
• RQ4 estimating 방정식의 직교화가 고차원 부수적 추정에 대한 강건성을 어떻게 향상시키는가?
• RQ5 이 프레임워크는 치료 효과를 초과하여 다양한 구조 함수에 일반적으로 적용 가능한가?

주요 결과

• 직교화 덕분에, g(x) = E[Y|X=x]에 대해 고차원 부수적 함수 η₀가 알려져 있는 것처럼 점근적으로 정규 분포를 따르는 추론을 달성한다.
• 추정 오차가 적절한 노름에서 작을 경우, η₀의 추정 오차에 대해 추론이 강건하여 타당한 신뢰구간과 가설 검정이 가능하다.
• 기저 함수 p(x)가 충분히 풍부할 경우, 이 방법은 진정한 g(x)를 목표로 하고, 그렇지 않으면 g(x)의 최적 선형 근사를 목표로 한다.
• p(x)가 그룹 지표로 정의되어 있을 경우, 이 프레임워크는 그룹 평균 치료 효과(GATEs)에 대한 타당한 추론을 지원한다.
• 직교 estimating 방정식의 사용 덕분에, 고차원 Z에서도 추정과 추론에 대해 준 오라클 성질을 유지한다.
• 이 방법은 치료 효과, 구조 도함수, 결과 회귀 분석을 포함한 다양한 구조 함수에 일반적으로 적용 가능하다.