[论文解读] Inference for High-Dimensional Sparse Econometric Models

Alexandre Belloni, Victor Chernozhukov+1 more|arXiv (Cornell University)|Dec 31, 2011

Economic Growth and Productivity被引用 58

一句话总结

该论文针对高维稀疏计量经济模型开发了推断方法，采用L1惩罚估计，即使真实模型仅为近似稀疏，也能实现有效的统计推断。在弱稀疏条件下建立了估计量的渐近正态性，并为工具变量和部分线性模型提出了新颖的推断程序，应用包括教育回报率和增长回归。

ABSTRACT

This article is about estimation and inference methods for high dimensional sparse (HDS) regression models in econometrics. High dimensional sparse models arise in situations where many regressors (or series terms) are available and the regression function is well-approximated by a parsimonious, yet unknown set of regressors. The latter condition makes it possible to estimate the entire regression function effectively by searching for approximately the right set of regressors. We discuss methods for identifying this set of regressors and estimating their coefficients based on $\ell_1$-penalization and describe key theoretical results. In order to capture realistic practical situations, we expressly allow for imperfect selection of regressors and study the impact of this imperfect selection on estimation and inference results. We focus the main part of the article on the use of HDS models and methods in the instrumental variables model and the partially linear model. We present a set of novel inference results for these models and illustrate their use with applications to returns to schooling and growth regression.

研究动机与目标

• 开发当回归变量数量p超过样本量n时的高维稀疏模型的可靠推断程序。
• 解决高维设定下模型选择不完美时的挑战，即真实稀疏模型未被完全恢复。
• 将有效推断扩展至关键计量经济模型，如具有大量系列项的工具变量和部分线性模型。
• 为弱稀疏假设下的高维设定中L1惩罚估计提供理论依据。
• 通过教育回报率和增长回归的实证应用展示该方法框架。

提出的方法

• 使用L1惩罚回归（如Lasso）估计p ≫ n的高维稀疏模型。
• 采用双重/去偏程序校正L1惩罚带来的偏差，实现渐近正态估计量。
• 应用乘子自展法或方差估计技术，构建结构参数的置信区间。
• 通过交叉验证或相关准则实现正则化参数的数据驱动选择。
• 利用经验过程理论和随机矩阵不等式推导估计误差的理论界。
• 采用数组渐近方法，允许p和s（非零系数个数）随n增长，且满足s log p = o(n)的条件。

实验结果

研究问题

• RQ1 当真实模型仅为近似稀疏且选择不完美时，是否能在高维稀疏模型中实现有效推断？
• RQ2 如何对L1惩罚估计量进行去偏处理，以实现渐近正态性并支持高维设定下的置信区间？
• RQ3 在具有大量工具变量的工具变量模型中，去偏Lasso估计量的理论性质是什么？
• RQ4 如何将高维稀疏模型应用于具有大量系列项的部分线性模型？
• RQ5 所提出方法在有限样本中的表现及其在真实世界计量经济应用中的实证相关性如何？

主要发现

• 在弱稀疏条件下，去偏Lasso估计量具有渐近正态性，且方差估计的一致性速率为oP(1)。
• 去偏估计量的估计误差被界于O_P(√(s log p / n))，在弱稀疏条件下为最优。
• 该方法在具有大量工具变量的工具变量模型中实现了有效推断，即使工具变量数量随样本量增长也成立。
• 通过所提出的去偏程序，可对具有大量系列项的部分线性模型实现有效推断。
• 对教育回报率和增长回归的实证应用表明，该方法能识别出有意义的结构效应，并保证置信区间的正确覆盖。
• 理论结果在最小假设下成立，包括非高斯误差和弱依赖性，增强了实际适用性。