[论文解读] High-Dimensional Econometrics and Regularized GMM

Alexandre Belloni, Victor Chernozhukov+3 more|arXiv (Cornell University)|Jun 5, 2018

Statistical Methods and Inference被引用 17

一句话总结

本文为高维参数数量相对于样本量较大的模型中的估计与推断发展了高维渐近理论，重点研究正则化广义矩方法（GMM）。研究建立了高维中心极限定理、自助法近似以及中等偏差不等式，使得对高维参数泛函的推断成为可能，包括同时置信区间和错误发现率（FDR）控制，应用涵盖高维线性模型与工具变量模型。

ABSTRACT

This chapter presents key concepts and theoretical results for analyzing estimation and inference in high-dimensional models. High-dimensional models are characterized by having a number of unknown parameters that is not vanishingly small relative to the sample size. We first present results in a framework where estimators of parameters of interest may be represented directly as approximate means. Within this context, we review fundamental results including high-dimensional central limit theorems, bootstrap approximation of high-dimensional limit distributions, and moderate deviation theory. We also review key concepts underlying inference when many parameters are of interest such as multiple testing with family-wise error rate or false discovery rate control. We then turn to a general high-dimensional minimum distance framework with a special focus on generalized method of moments problems where we present results for estimation and inference about model parameters. The presented results cover a wide array of econometric applications, and we discuss several leading special cases including high-dimensional linear regression and linear instrumental variables models to illustrate the general results.

研究动机与目标

• 为参数数量p相对于样本量n较大的高维计量经济学模型中的推断建立理论框架。
• 将经典渐近工具（如中心极限定理和自助法）扩展至p ≫ n的高维设定。
• 为高维参数向量中的同时推断与多重假设检验提供严格的理论支持，控制家族错误率（FWER）或错误发现率（FDR）。
• 在高维正则性条件下，建立正则化GMM估计量（特别是双/去偏估计量）的有效性。
• 统一并推广现有高维估计与推断结果，尤其针对具有大量矩条件或工具变量的模型。

提出的方法

• 使用大量近似均值（MAM）框架将估计量表示为近似线性形式：√n(θ̂ − θ₀) = (1/√n)∑Zᵢ + rₙ，其中Zᵢ为影响函数，rₙ为可忽略的误差。
• 在p ≫ n条件下，将高维中心极限定理（CLT）和自助法近似应用于√n(θ̂ − θ₀)的分布。
• 利用中等偏差不等式以及最大值/反浓度不等式来控制高维和的尾部行为。
• 引入Neyman正交（去偏）估计方程，以实现在高维模型中对参数的诚实估计。
• 提出双/去偏正则化GMM（DRGMM）框架，结合正则化与正交矩条件，确保根n渐近正态性。
• 应用压缩原理与对称化技术（通过Rademacher混沌）来界定高维参数空间上经验过程的上确界。

实验结果

研究问题

• RQ1 当p ≫ n时，如何为高维参数向量θ₀的所有分量构造同时置信区间？
• RQ2 在何种条件下，自助法能准确近似高维模型中估计量的高维抽样分布？
• RQ3 在同时检验多个高维假设时，如何控制家族错误率（FWER）或错误发现率（FDR）？
• RQ4 在具有大量矩条件的高维模型中，正则化GMM估计量的理论保证是什么？
• RQ5 在何种条件下，双/去偏GMM估计量在高维设定下实现根n渐近正态性？

主要发现

• 在弱矩条件之下，即使p的增长快于n，高维中心极限定理依然成立，从而保证估计量的渐近正态性。
• 在较弱的矩条件与依赖性条件下，高维抽样分布的自助法近似是有效的，使得无需显式估计方差即可进行推断。
• 通过估计量与真实参数之间最大偏差的控制，可以为θ₀的所有p个分量构造同时置信区间，其覆盖概率趋近于名义水平。
• 通过基于单个检验统计量渐近正态性的阈值程序，可在高维多重检验中实现错误发现率（FDR）控制。
• 只要干扰参数估计误差足够小，双/去偏正则化GMM（DRGMM）估计量即使在p ≫ n时也能实现根n渐近正态性。
• 通过压缩原理与次高斯尾部不等式，推导出DRGMM估计量误差的理论界，确保在高维设定下的鲁棒性。