[论文解读] Estimation and Inference about Conditional Average Treatment Effect and Other Structural Functions

Vira Semenova, Victor Chernozhukov|arXiv (Cornell University)|Feb 21, 2017

Advanced Causal Inference Techniques被引用 9

一句话总结

本文提出了一种双稳健推断框架，用于在存在高维控制变量的情况下，对低维非参数函数（如条件平均处理效应）进行估计并实现有效的统计推断。通过使用机器学习方法估计的干扰函数对信号进行正交化，该方法实现了渐近正态推断，其效果等同于已知干扰函数的情况，从而实现了对GATE等结构性函数的有效推断。

ABSTRACT

Our framework can be viewed as inference on low-dimensional nonparametric functions in the presence of high-dimensional nuisance function (where dimensionality refers to the number of covariates). Specifically, we consider the setting where we have a signal $Y=Y(\eta_0)$ that is an unbiased predictor of causal/structural objects like treatment effect, structural derivative, outcome given treatment, and others, conditional on a set of very high dimensional controls $Z$. We are interested in simpler lower-dimensional nonparametric summaries of $Y$, namely $g(x)=E[Y|X=x]$ conditional on a low-dimensional subset of covariates $X$. The signal $Y=Y(\eta)$ depends on an unknown nuisance function $\eta_0(Z)$. In the first stage, we need to learn the function $\eta_0(Z)$ using any machine learning method that is able to approximate $\eta$ accurately under very high dimensionality of $Z$. For example, under approximate sparsity with respect to a dictionary, $\ell_1$-penalized methods can be used; in others, tools such as deep neural networks can be used. To make the subsequent inference valid, we make the signal orthogonal to perturbations of $\eta$. As a result, the second-stage low-dimensional nonparametric inference enjoys the quasi-oracle properties, as if we knew $\eta_0$. In the second stage, we approximate the target function $g(x)$ by a linear form $p(x)'\beta_0$, where $\beta_0$ is the Best Linear Predictor parameter. We develop a complete set of results about estimation and approximately Gaussian inference on $x \mapsto p(x)'\beta$ and $x \mapsto g(x)$. If $p(x)$ is sufficiently rich and $g(x)$ admits a good approximation, then $g(x)$ gets automatically targeted by the inference; otherwise, the best linear approximation $p(x)'\beta$ to $g(x)$ gets targeted. When $p(x)$ is specified as a collection of group indicators, $p(x)'\beta$ describes group-average treatment effects (GATEs).

研究动机与目标

• 在存在高维控制变量的情况下，实现对结构性函数低维非参数摘要的可靠统计推断。
• 解决因果推断场景中因高维干扰函数导致的估计偏差问题。
• 开发一种方法，即使干扰函数由高维数据估计，也能实现对条件平均处理效应等函数的渐近正态推断。
• 确保对结构性函数的推断在高维干扰分量估计方法变化时仍保持稳健与高效。
• 提供一个适用于多种结构性函数（包括处理效应、结构导数和结果回归）的一般性框架。

提出的方法

• 该方法将问题分解为两个阶段：首先，使用如Lasso或深度神经网络等机器学习技术估计高维干扰函数 η₀(Z)。
• 构造信号 Y(η)，使其对 η 的扰动保持正交，从而确保 η 的估计误差不会影响目标参数的渐近分布。
• 在第二阶段，通过线性形式 p(x)'β₀ 近似目标函数 g(x) = E[Y|X=x]，其中 p(x) 为一组基函数，β₀ 为最优线性预测器。
• 该框架采用Neyman正交估计方程，确保 β₀ 的估计对 η₀ 的估计误差具有鲁棒性，从而实现渐近正态性。
• 该方法可自适应地匹配 g(x) 的光滑性：若 g(x) 可被 p(x)'β 良好近似，则目标为真实 g(x)；否则，目标为 g(x) 的最佳线性逼近。
• 当 p(x) 由组别指示变量构成时，该方法可对组平均处理效应（GATEs）进行有效推断。

实验结果

研究问题

• RQ1 当存在高维控制变量时，能否对低维非参数函数实现有效的渐近正态推断？
• RQ2 如何确保干扰函数的估计不会对目标结构性函数的推断造成偏差？
• RQ3 在何种条件下，该方法能针对真实的条件平均处理效应，而非仅其最佳线性逼近？
• RQ4 估计方程的正交化如何提升对高维干扰估计误差的鲁棒性？
• RQ5 该框架是否可普遍应用于处理效应以外的各种结构性函数？

主要发现

• 由于正交化，该方法实现了对 g(x) = E[Y|X=x] 的渐近正态推断，其效果等同于已知高维干扰函数 η₀ 的情况。
• 只要 η₀ 的估计误差在适当范数下足够小，推断对 η₀ 的估计误差具有鲁棒性，从而可构造有效的置信区间和假设检验。
• 当基函数 p(x) 足够丰富时，该方法可针对真实 g(x)；否则，其目标为 g(x) 的最佳线性逼近。
• 当 p(x) 由组别指示变量定义时，该框架支持对组平均处理效应（GATEs）的有效推断。
• 由于使用了正交估计方程，该方法在高维 Z 下仍保持准最优性质，兼具优良的估计与推断性能。
• 该方法具有通用性，可适用于多种结构性函数，包括处理效应、结构导数和结果回归。