[论文解读] A unifying approach for doubly-robust $\ell_1$ regularized estimation of causal contrasts

Ezequiel Smucler, Andrea Rotnitzky+1 more|arXiv (Cornell University)|Apr 7, 2019

Statistical Methods and Inference参考文献 44被引用 30

一句话总结

本文提出了一种统一框架，用于在高维设定下对因果对比进行双重稳健的ℓ₁-正则化估计，采用样本分割和交叉拟合，并使用与影响函数对齐的损失函数。该方法实现了速率双重稳健性和模型双重稳健性，当两个干扰函数（例如，结果回归或倾向得分）中至少一个近似稀疏时，可确保根n一致性与渐近正态性。

ABSTRACT

We consider inference about a scalar parameter under a non-parametric model based on a one-step estimator computed as a plug in estimator plus the empirical mean of an estimator of the parameter's influence function. We focus on a class of parameters that have influence function which depends on two infinite dimensional nuisance functions and such that the bias of the one-step estimator of the parameter of interest is the expectation of the product of the estimation errors of the two nuisance functions. Our class includes many important treatment effect contrasts of interest in causal inference and econometrics, such as ATE, ATT, an integrated causal contrast with a continuous treatment, and the mean of an outcome missing not at random. We propose estimators of the target parameter that entertain approximately sparse regression models for the nuisance functions allowing for the number of potential confounders to be even larger than the sample size. By employing sample splitting, cross-fitting and $\ell_1$-regularized regression estimators of the nuisance functions based on objective functions whose directional derivatives agree with those of the parameter's influence function, we obtain estimators of the target parameter with two desirable robustness properties: (1) they are rate doubly-robust in that they are root-n consistent and asymptotically normal when both nuisance functions follow approximately sparse models, even if one function has a very non-sparse regression coefficient, so long as the other has a sufficiently sparse regression coefficient, and (2) they are model doubly-robust in that they are root-n consistent and asymptotically normal even if one of the nuisance functions does not follow an approximately sparse model so long as the other nuisance function follows an approximately sparse model with a sufficiently sparse regression coefficient.

研究动机与目标

• 开发一种统一的方法，用于估计高维观察性研究中的因果对比，其中混杂变量的数量超过样本量。
• 通过同时实现速率双重稳健性和模型双重稳健性，扩展现有双重稳健方法。
• 即使一个干扰函数非稀疏，只要另一个近似稀疏，也确保估计量的根n一致性与渐近正态性。
• 将先前方法推广至ATE之外的更广泛因果泛函类，包括连续处理效应和缺失数据参数。
• 提供一个理论基础坚实且实用的框架，结合样本分割、交叉拟合以及与影响函数对齐的损失函数的ℓ₁-正则化回归。

提出的方法

• 该方法基于插补估计和影响函数估计的经验均值，采用一步估计器。
• 通过样本分割和交叉拟合，减少高维设定下过拟合带来的偏差。
• 干扰函数（例如，结果回归和倾向得分）通过使用方向导数与影响函数匹配的目标函数的ℓ₁-正则化回归进行估计。
• 该方法设计为速率双重稳健：当至少一个干扰函数近似稀疏时，估计量一致且渐近正态。
• 同时具备模型双重稳健性：当一个干扰函数近似稀疏时，无论另一个函数是否稀疏，估计量均一致且渐近正态。
• 该框架适用于广泛的泛函类，包括ATE、ATT、连续处理对比以及缺失非随机机制下的均值结果。

实验结果

研究问题

• RQ1 是否可以设计一种单一方法，在高维因果推断中同时实现速率双重稳健性和模型双重稳健性？
• RQ2 如何调整ℓ₁-正则化估计，以确保当一个干扰函数非稀疏时仍保持稳健性？
• RQ3 哪些损失函数最适合ℓ₁-正则化估计，以与目标参数的影响函数对齐？
• RQ4 当渐近理论无法良好近似抽样分布时，该方法是否仍能保持良好的有限样本性能？
• RQ5 该框架能否推广至ATE之外的其他因果泛函，适用于条件均值函数的连续线性泛函类？

主要发现

• 所提出的估计量实现了速率双重稳健性和模型双重稳健性，当至少一个干扰函数近似稀疏时，可确保根n一致性与渐近正态性。
• 在模拟中，以双重稳健估计量为中心的Wald置信区间的覆盖概率在大多数情景下接近名义上的95%水平，除非渐近近似效果较差。
• 当真实函数并非超稀疏时（例如，αₐ = 1.5），渐近理论无法保证正态性，且观察到偏差，表明存在有限样本局限性。
• 当协变量数量从200减少到100时，双重稳健估计量的偏差相比其标准误减小了数量级，表明有限样本性能得到显著改善。
• 标准误估计量倾向于低估真实变异性，导致95%置信区间的覆盖不足，尤其在p=200时更为明显。
• 在某些情况下，仅基于正确建模的干扰函数的朴素估计量表现出的偏差与双重稳健估计量相当或更小，表明在某些数据生成过程中可能存在潜在不稳定性或模型特异性伪影。