[论文解读] LASSO Methods for Gaussian Instrumental Variables Models

Alexandre Belloni, Victor Chernozhukov+1 more|arXiv (Cornell University)|Dec 6, 2010

Monetary Policy and Economic Impact参考文献 17被引用 34

一句话总结

本文提出在高维线性工具变量模型中，于高斯误差下使用LASSO、Post-LASSO、$√n$-LASSO及Post-$√n$-LASSO方法估计最优工具变量。当真实工具变量函数近似稀疏时，即使在$p \gg n$的情形下，只要设计与误差结构满足正则性条件，该方法可建立估计量的渐近正态性与Oracle效率。

ABSTRACT

In this note, we propose to use sparse methods (e.g. LASSO, Post-LASSO, sqrt-LASSO, and Post-sqrt-LASSO) to form first-stage predictions and estimate optimal instruments in linear instrumental variables (IV) models with many instruments in the canonical Gaussian case. The methods apply even when the number of instruments is much larger than the sample size. We derive asymptotic distributions for the resulting IV estimators and provide conditions under which these sparsity-based IV estimators are asymptotically oracle-efficient. In simulation experiments, a sparsity-based IV estimator with a data-driven penalty performs well compared to recently advocated many-instrument-robust procedures. We illustrate the procedure in an empirical example using the Angrist and Krueger (1991) schooling data.

研究动机与目标

• 在工具变量数量$p$远大于样本量$n$时，开发高效的工具变量估计量。
• 解决在传统方法失效的高维设定下选择相关工具变量的挑战。
• 在近似稀疏条件下，建立基于稀疏估计的IV估计量的渐近正态性与效率。
• 为在第一阶段预测与最优工具构造中使用LASSO类方法提供理论依据。
• 通过允许相关工具的未知支撑集与结构模型中的近似误差，推广经典IV理论。

提出的方法

• 使用$\ell_1$-正则化估计（LASSO、Post-LASSO、$\sqrt{\text{LASSO}}$、Post-$\sqrt{\text{LASSO}}$）来估计条件期望$D(x_i) = \mathbb{E}[y_{2i} \mid x_i]$，即最优工具变量。
• 假设真实工具变量函数$D(x_i)$近似稀疏：$D(x_i) = f_i^T \beta_0 + a(x_i)$，其中$\|a(x_i)\|_2 \lesssim \sigma_v \sqrt{s/n}$且$\|\beta_0\|_0 = s \ll n$。
• 施加高维设计，包含$p$个工具变量，经标准化使得$\mathbb{E}_n[f_{ij}^2] = 1$，并利用稀疏性避免过拟合。
• 在正则性条件下（包括限制特征值（RE）与稀疏性强制（SE）条件）推导出相应IV估计量的渐近分布。
• 通过证明稀疏估计量的渐近方差与使用真实$D(x_i)$的不可行最优IV估计量的渐近方差一致，建立Oracle效率。
• 利用经验过程理论与集中不等式，界定向估计误差并推导第一阶段估计的收敛速率。

实验结果

研究问题

• RQ1 LASSO类方法能否在高维IV模型中$p \gg n$时一致估计最优工具变量？
• RQ2 在何种条件下，基于LASSO的IV估计量可实现渐近正态性与Oracle效率？
• RQ3 在有限样本中，基于稀疏估计的IV估计量与经典多工具变量稳健程序相比表现如何？
• RQ4 近似稀疏性在真实工具变量函数未知且复杂时，如何促进高效估计？
• RQ5 在LASSO类估计量中，数据驱动的惩罚选择能否提升IV设定下的有限样本性能？

主要发现

• 所提出的基于LASSO的IV估计量在近似稀疏条件与设计矩阵正则性条件下，具有渐近正态性并实现Oracle效率。
• 在适当的惩罚水平下，第一阶段工具变量预测器的估计误差满足$\|f_i^T \delta\|_{2,n} \lesssim \sigma_v \sqrt{\frac{s \log p}{n}}$，其中$\delta = \widehat{\beta} - \beta_0$。
• Post-LASSO与Post-$\sqrt{\text{LASSO}}$估计量达到与Oracle估计量相同的渐近效率，且满足$\|\delta\|_2 \lesssim_P \sqrt{s/n}$。
• $\sqrt{\text{LASSO}}$估计量在相同条件下达到与LASSO相同的收敛速率，且对异方差性具有更强的鲁棒性。
• 模拟结果表明，数据驱动的LASSO类IV估计量在偏差与均方误差方面优于近期提出的多工具变量稳健程序。
• 对Angrist与Krueger（1991）教育数据的实证应用验证了该方法在真实场景中的可行性与实际相关性。