[论文解读] Approximate Residual Balancing: De-Biased Inference of Average Treatment Effects in High Dimensions

Susan Athey, Guido W. Imbens+1 more|arXiv (Cornell University)|Apr 25, 2016

Advanced Causal Inference Techniques被引用 6

一句话总结

本文提出了近似残差平衡（Approximate Residual Balancing, ARB），一种在高维线性模型中进行去偏平均处理效应推断的方法，无需一致估计倾向得分。通过将平衡权重与正则化回归调整相结合，ARB 在重叠性和线性性假设下实现了 √n 一致性估计，将有效推断的适用范围扩展至传统双重稳健方法所依赖的倾向得分估计之外。

ABSTRACT

There are many settings where researchers are interested in estimating average treatment effects and are willing to rely on the unconfoundedness assumption, which requires that the treatment assignment be as good as random conditional on pre-treatment variables. The unconfoundedness assumption is often more plausible if a large number of pre-treatment variables are included in the analysis, but this can worsen the performance of standard approaches to treatment effect estimation. In this paper, we develop a method for de-biasing penalized regression adjustments to allow sparse regression methods like the lasso to be used for sqrt{n}-consistent inference of average treatment effects in high-dimensional linear models. Given linearity, we do not need to assume that the treatment propensities are estimable, or that the average treatment effect is a sparse contrast of the outcome model parameters. Rather, in addition standard assumptions used to make lasso regression on the outcome model consistent under 1-norm error, we only require overlap, i.e., that the propensity score be uniformly bounded away from 0 and 1. Procedurally, our method combines balancing weights with a regularized regression adjustment.

研究动机与目标

• 解决在高维设定下，使用惩罚回归调整（如套索）估计平均处理效应时引入的偏差问题。
• 在无需一致估计倾向得分的前提下，实现平均处理效应的 √n 一致性推断。
• 开发一种利用线性性和重叠性假设以实现高维结果模型中有效推断的方法。
• 提供一种去偏框架，结合平衡权重与正则化回归，避免依赖双重稳健的干扰估计量。

提出的方法

• 该方法构建平衡权重，以最小化高维协变量空间中处理组与对照组之间残差失衡的 ∞-范数。
• 通过求解一个正则化优化问题，寻找能平衡套索估计结果模型残差的权重，其中调参 ζ 控制偏差与方差之间的权衡。
• 该估计器利用平衡权重对套索回归系数估计量进行去偏校正，以纠正高维收缩带来的偏差。
• 该方法依赖于对结果模型的初步套索拟合，随后求解一个约束优化问题，以找到使残差失衡最小化的平衡权重。
• 该方法假设结果模型为线性且存在重叠（倾向得分远离 0 和 1），但不要求处理机制具有稀疏性或一致估计倾向得分。
• 最终估计量将套索预测与平衡权重相结合，生成平均处理效应的 √n 一致性、渐近正态估计。

实验结果

研究问题

• RQ1 在无需一致估计倾向得分的前提下，能否在高维线性模型中实现平均处理效应的 √n 一致性推断？
• RQ2 如何校正高维结果模型中套索回归引入的偏差，以实现有效推断？
• RQ3 在协变量数量超过样本量时，设计与模型结构的哪些条件允许实现去偏推断？
• RQ4 当结果模型设定正确但倾向得分不可估计时，所提出方法与双重稳健估计器的性能如何比较？
• RQ5 调参 ζ 在平衡偏差与方差方面起什么作用？能否实现自适应选择？

主要发现

• 所提出的近似残差平衡方法在重叠性和线性性假设下，无需一致估计倾向得分，即可实现平均处理效应的 √n 一致性估计。
• 置信区间覆盖概率随重叠程度提高而改善（例如 η = 0.25 与 η = 0.1 对比），且在真实系数向量更稀疏时表现更优。
• 实证结果表明，随着样本量增加，覆盖概率提升，支持了理论结果预测的渐近有效性。
• 即使结果模型与倾向得分模型均为稀疏，该方法仍表现良好，在强线性效应设定下优于双重稳健方法。
• 固定调参 ζ = 1/2 在模拟中始终表现良好，表明对调参选择具有鲁棒性，尽管在数据自适应选择方面存在理论挑战。
• 该方法将可实现 √n 一致性推断的问题类别扩展至无需一致干扰估计的场景，尤其适用于线性模型。