[论文解读] Bias-Aware Inference in Regularized Regression Models

Timothy B. Armstrong, Michal Kolesár+1 more|arXiv (Cornell University)|Dec 29, 2020

Statistical Methods and Inference参考文献 38被引用 5

一句话总结

本文通过在惩罚函数中对控制系数的大小施加约束，提出了一种在正则化回归中进行偏差感知推断的方法，从而实现最优化的最坏情况偏差与方差之间的权衡。该方法采用两步程序——首先进行惩罚性倾向得分回归，然后进行工具变量估计——在同方差高斯误差下，其置信区间在有限样本中有效，在异方差性和高维渐近情形（$k \gg n$）下渐近有效。主要贡献在于：在有限样本中实现了近似最优的均方误差和置信区间长度，并在高维设定下提出了新颖的收敛速率。

ABSTRACT

We consider inference on a scalar regression coefficient under a constraint on the magnitude of the control coefficients. A class of estimators based on a regularized propensity score regression is shown to exactly solve a tradeoff between worst-case bias and variance. We derive confidence intervals (CIs) based on these estimators that are bias-aware: they account for the possible bias of the estimator. Under homoskedastic Gaussian errors, these estimators and CIs are near-optimal in finite samples for MSE and CI length. We also provide conditions for asymptotic validity of the CI with unknown and possibly heteroskedastic error distribution, and derive novel optimal rates of convergence under high-dimensional asymptotics that allow the number of regressors to increase more quickly than the number of observations. Extensive simulations and an empirical application illustrate the performance of our methods.

研究动机与目标

• 解决当控制变量数量 $k > n$ 时，传统OLS在高维回归模型中不稳定或未定义的推断挑战。
• 开发一种方法，以考虑正则化估计量在有限样本中的偏差，特别是当稀疏性假设不现实或无法验证时。
• 通过将最坏情况偏差显式纳入临界值，构建对最坏情况偏差具有鲁棒性的置信区间。
• 在控制变量数量 $k$ 的增长速度快于样本大小 $n$ 的高维渐近设定下，推导出最优的收敛速率。
• 提供一个框架，通过将 $\beta$ 重新解释为加权平均处理效应，实现对异质性处理效应的建模。

提出的方法

• 使用惩罚函数 $\operatorname{Pen}(\gamma) \leq C$ 对控制系数 $\gamma$ 的大小进行约束，以凸对称约束替代稀疏性假设。
• 提出一种两步估计量：第一步，使用 $\operatorname{Pen}(\cdot)$ 作为惩罚项，对处理变量 $w_i$ 关于控制变量 $z_i$ 进行正则化倾向得分回归；第二步，将残差用作工具变量，在 $Y_i$ 对 $w_i$ 的简单回归中进行估计。
• 置信区间的临界值通过自动从第一步正则化回归中提取的估计量最坏情况偏差推导得出。
• 对于异方差误差，使用异方差稳健的方差估计量构造置信区间，并提供了保证渐近有效性的条件。
• 通过有限样本风险最小化，选择最优惩罚权重以最小化均方误差或置信区间长度。
• 该方法允许对控制系数进行灵活建模，包括 $\ell_p$ 范数或函数逼近设定下的导数约束。

实验结果

研究问题

• RQ1 当控制变量数量 $k$ 超过样本大小 $n$ 时，如何在高维回归模型中实现有效的推断？
• RQ2 在控制系数大小受约束的正则化回归中，最坏情况偏差与方差之间的最优权衡是什么？
• RQ3 是否可以构建对有限样本偏差具有鲁棒性的置信区间，而无需依赖稀疏性假设？
• RQ4 当 $k$ 的增长速度快于 $n$ 时，估计与推断的最优收敛速率是什么？
• RQ5 该方法如何在高维控制变量存在的情况下，适应异质性处理效应？

主要发现

• 在同方差高斯误差下，所提出的估计量在有限样本中实现了近似最优的均方误差，最优惩罚权重可通过解析方法推导得出。
• 在高斯同方差假设下，基于偏差感知估计量的置信区间在有限样本中有效，因为最坏情况偏差已自动纳入临界值。
• 在高维渐近设定下，当 $k \gg n$ 时，该方法实现了最优的收敛速率，具体为 $O_p\left(K_n^{1/2}(k_1/n + C_n \sqrt{\log k_2}/\sqrt{n})^{1/2}\right)$，在较弱的矩和尾部条件下成立。
• 在异方差误差下，置信区间的渐近有效性得到证明，前提是 $k_2 \log k_2 / n \to 0$ 且 $(\log k_2)^{3/2}/\sqrt{n} \to 0$。
• 当稀疏性假设不成立时，该方法在有限样本中优于标准的双Lasso方法，因为它不依赖于稀疏性，而是依赖于 $\|\gamma\|_p$ 的有界性。
• 该框架通过多种惩罚函数（包括 $\ell_p$ 范数和非参数逼近中的基于导数的约束）实现了对控制系数的灵活建模。