[论文解读] High-Dimensional Metrics in R

Victor Chernozhukov, C. Hansen+1 more|arXiv (Cornell University)|Mar 5, 2016

Statistical Methods and Inference参考文献 6被引用 3

一句话总结

本文介绍了 R 包 hdm，该包为高维近似稀疏模型中的推断提供了理论坚实、数据驱动的方法。它能够通过严格的 Lasso（rlasso）方法，在存在异方差和非高斯误差的情况下，高效估计并构建低维参数（如处理效应和回归系数）的统一有效置信区间，其理论性能和效率优于传统交叉验证。

ABSTRACT

The package High-dimensional Metrics (\Rpackage{hdm}) is an evolving collection of statistical methods for estimation and quantification of uncertainty in high-dimensional approximately sparse models. It focuses on providing confidence intervals and significance testing for (possibly many) low-dimensional subcomponents of the high-dimensional parameter vector. Efficient estimators and uniformly valid confidence intervals for regression coefficients on target variables (e.g., treatment or policy variable) in a high-dimensional approximately sparse regression model, for average treatment effect (ATE) and average treatment effect for the treated (ATET), as well for extensions of these parameters to the endogenous setting are provided. Theory grounded, data-driven methods for selecting the penalization parameter in Lasso regressions under heteroscedastic and non-Gaussian errors are implemented. Moreover, joint/ simultaneous confidence intervals for regression coefficients of a high-dimensional sparse regression are implemented, including a joint significance test for Lasso regression. Data sets which have been used in the literature and might be useful for classroom demonstration and for testing new estimators are included. \R and the package \Rpackage{hdm} are open-source software projects and can be freely downloaded from CRAN: exttt{http://cran.r-project.org}.

研究动机与目标

• 解决当参数数量超过样本量时，高维模型中统计推断的挑战。
• 为高维近似稀疏模型中的低维分量（如处理效应、回归系数）开发有效推断方法。
• 提供一种理论合理、数据驱动的 Lasso 惩罚参数 λ 选择方法，避免依赖交叉验证。
• 在高维设定下，实现多个回归系数的联合与同时置信区域。
• 通过统一有效的置信区间和显著性检验，促进计量经济学和数据科学应用中的因果推断。

提出的方法

• 实现一种‘严格 Lasso’（rlasso）估计器，可处理非高斯和异方差误差，提升高维回归中的稳健性。
• 提出一种数据驱动、理论依据充分的 Lasso 回归惩罚参数 λ 选择方法，相比交叉验证显著降低计算负担。
• 通过偏回归（partialling out）应用正交性原理，构建高维模型中目标系数的置信区间。
• 利用 Belloni, Chernozhukov 和 Kato（2014）的框架，构建高维回归系数的统一有效联合置信区域。
• 基于双重/去偏机器学习原理，将推断扩展至平均处理效应（ATE）、处理组的平均处理效应（ATET）以及内生处理设定。
• 整合实证应用与真实数据集（如 CPS、BLP、AJR、EminentDomain），展示方法在计量经济学及其他领域的实用性。

实验结果

研究问题

• RQ1 如何在高维近似稀疏模型中为单个回归系数构建统一有效的置信区间？
• RQ2 当误差存在异方差或非高斯分布时，如何采用理论合理、数据驱动的方法选择 Lasso 惩罚参数 λ？
• RQ3 在具有有效同时覆盖概率的高维模型中，如何对多个回归系数进行联合推断？
• RQ4 我们能否在存在大量混淆变量的高维模型中，估计并检验平均处理效应（ATE 和 ATET）？
• RQ5 如何将工具变量估计方法扩展至具有内生处理和大量控制变量的高维设定？

主要发现

• hdm 中的 rlasso 估计器在异方差和非高斯误差分布下，对高维回归系数提供了具有一致性和高效性的估计。
• rlasso 的数据驱动惩罚参数选择方法相比交叉验证显著降低了计算成本，同时保持理论有效性。
• 通过正交性原理构建的目标系数统一有效置信区间，确保了即使在高维设定下也能保持正确的覆盖概率。
• 多个回归系数的联合置信区域已实现，并在高维 Z-估计理论下被证明有效。
• 该包支持在存在大量混淆变量的高维模型中对 ATE 和 ATET 进行可靠推断，已在 401(k) 参与率和经济发展等应用中得到验证。
• 真实数据集（如 CPS、BLP、AJR、EminentDomain）的引入，支持了可重复研究，并为计量经济学应用中新估计量的基准测试提供了基础。