[论文解读] Asymptotically normal estimators in high-dimensional linear regression

Kou Fujimori, Koji Tsukuda|arXiv (Cornell University)|Feb 7, 2026

Statistical Methods and Inference被引用 0

一句话总结

本文证明高维线性回归中估计量的渐近正态性，通过在 ell^2 希尔伯特空间中的弱收敛允许稀疏度发散，并提供了具有卡方混合分布的线性假设检验。

ABSTRACT

We establish asymptotic normality for estimators in high-dimensional linear regression by proving weak convergence in a separable Hilbert space, thereby enabling direct use of standard asymptotic tools, for example, the continuous mapping theorem. The approach allows the number of non-zero coefficients to grow, provided only a fixed number have moderate magnitude. As an application, we test linear hypotheses with a statistic whose null limit is a finite weighted sum of independent chi-squared variables, yielding plug-in critical values with asymptotically correct size.

研究动机与目标

• 在高维、稀疏度发散的情况下，激发对渐近正态性结果的需求。
• 建立基于 ell^2 希尔伯特空间中的弱收敛框架，以推导估计量的渐近正态性。
• 允许非零系数的数量增长，同时控制一组固定信号的幅度。
• 提供将线性假设检验的一个应用，其零分布为有限加权的独立卡方变量混合分布。

提出的方法

• 定义一个在无穷范数一致的稀疏估计量 hat{theta}_n，及基于选定支集 hat{T}_n 的后选择OLS估计量 tilde{theta}_n。
• 建立假设 1-3 以控制稀疏性、信号强度和设计属性，包括 Gram 矩阵 J_{nT_gamma,T_gamma} 的收敛和亚高斯界。
• 证明重标度估计误差向量 R_n 在 ell^2 中收敛于以中心化高斯场为极限的分布。
• 将主极限定理应用于构造线性假设检验，其统计量 W_n 的零假设分布为有限加权的独立卡方变量之和。
• 证明用于零分布的方差和特征值的插件估计量的一致性。

实验结果

研究问题

• RQ1 当稀疏性随样本量增长时，是否可以为高维估计量建立渐近正态性？
• RQ2 如何利用 ell^2 的弱收敛来使高维中广义估计量与泛函的标准渐近工具成为可能？
• RQ3 在稀疏性发散的高维回归中，线性假设检验的零分布是什么，是否可以表示为有限加权的卡方变量之和？

主要发现

• 本文证明 R_n 序列在 ell^2 中收敛到具有特定协方差结构的高斯场的分布。
• 在该框架下，坐标逐一正态性和固定维函数的正态性可以直接得到。
• 构造了线性假设检验，其 W_n 的零假设极限分布为有限加权的独立卡方变量之和。
• 用于标度 sigma^2 和零特征值 Lambda_j 的插件估计量是一致的。
• 通过蒙特卡罗方法估计临界值实现检验的渐近显著水平 alpha。
• 该方法允许非零系数数量发散，只要 moderately large 信号子集 T_gamma 保持不变，其他信号在整体上可忽略。