[论文解读] Estimating the Lasso's Effective Noise

Johannes Lederer, Michael Vogt|arXiv (Cornell University)|Apr 24, 2020

Statistical Methods and Inference参考文献 27被引用 5

一句话总结

该论文提出了一种完全基于数据的、基于自展法的估计器，用于估计套索回归中有效噪声的分位数，定义为 $2\|\mathbf{X}^\top\varepsilon\|_\infty/n$，该估计器可实现有限样本的调参校准和高维推断，且无需调参或对噪声分布的先验知识。该方法在温和的正则性条件下实现了有效的有限样本保证，并具有相合性。

ABSTRACT

Much of the theory for the lasso in the linear model $Y = X β^* + \varepsilon$ hinges on the quantity $2 \| X^ op \varepsilon \|_{\infty} / n$, which we call the lasso's effective noise. Among other things, the effective noise plays an important role in finite-sample bounds for the lasso, the calibration of the lasso's tuning parameter, and inference on the parameter vector $β^*$. In this paper, we develop a bootstrap-based estimator of the quantiles of the effective noise. The estimator is fully data-driven, that is, does not require any additional tuning parameters. We equip our estimator with finite-sample guarantees and apply it to tuning parameter calibration for the lasso and to high-dimensional inference on the parameter vector $β^*$.

研究动机与目标

• 开发一种针对套索回归中有效噪声 $2\|\mathbf{X}^\top\varepsilon\|_\infty/n$ 分位数的数据驱动估计器，该估计器对有限样本界和推断至关重要。
• 通过估计控制估计误差以高概率成立的关键阈值 $\lambda_\alpha^*$，实现套索回归的实际调参校准。
• 通过估计有效噪声在零假设下的分位数，支持高维推断，例如检验 $H_0: \beta^* = 0$。
• 克服先前方法需要了解噪声分布或初始调参猜测的局限性。
• 在设计与噪声的弱依赖性和矩条件之下，为基于自展法的估计器提供有限样本保证。

提出的方法

• 该方法使用非参数自展法生成重采样的设计矩阵 $\mathbf{X}_B$ 和响应向量 $\mathbf{Y}_B$，以保留原始数据的依赖结构。
• 对于每个自展样本，计算有效噪声为 $T_B = 2\|\mathbf{X}_B^\top \mathbf{Y}_B\|_\infty / n$，该值作为零假设下真实有效噪声的代理。
• 使用自展统计量 $T_B$ 的经验分位数 $\hat{\gamma}_{\alpha,B}$ 作为真实 $\alpha$-分位数 $\lambda_\alpha^*$ 的估计器。
• 通过控制自展误差的高概率界，控制自展分位数与真实分位数之间的偏差，从而建立有限样本保证。
• 通过引入基于投影的模型并条件化于高概率事件，考虑自展噪声与设计矩阵之间的依赖性。
• 理论结果通过集中不等式和对称化技术推导得出，偏差概率的显式界随样本量呈多项式衰减。

实验结果

研究问题

• RQ1 能否在不依赖调参或对噪声分布的先验知识的前提下，构建套索回归中有效噪声分位数的完全数据驱动估计器？
• RQ2 基于自展法的估计器是否能为高维回归中的调参校准提供有效的有限样本保证？
• RQ3 所提出的估计器能否用于构建针对高维模型中 $H_0: \beta^* = 0$ 的有效假设检验？
• RQ4 当重采样数据中设计矩阵与噪声之间存在依赖关系时，该自展估计器表现如何？
• RQ5 相对于有效噪声真实分位数，该自展估计器的非渐近误差界是什么？

主要发现

• 所提出的自展估计器 $\hat{\gamma}_{\alpha,B}$ 以高概率一致地估计套索回归中有效噪声的真实 $\alpha$-分位数 $\lambda_\alpha^*$。
• 该估计器实现了有限样本有效性：在零假设 $H_0: \beta^* = 0$ 下，有 $\mathbb{P}(T_B \leq \hat{\gamma}_{\alpha,B}) \geq 1 - \alpha + o(1)$。
• 在备择假设 $H_1: \beta^*_B \neq 0$ 下，基于 $\hat{\gamma}_{\alpha,B}$ 的检验统计功效趋于 1，即 $\mathbb{P}(T_B > \hat{\gamma}_{\alpha,B}) = 1 - o(1)$。
• 该方法提供了估计误差的非渐近界：以高概率有 $\hat{\gamma}_{\alpha,B} \in [\gamma_{\alpha - \nu_n', B}^*, \gamma_{\alpha + \nu_n', B}^*]$，其中 $\nu_n' \to 0$ 且以多项式速率收敛。
• 该估计器完全基于数据，无需额外调参或对噪声分布的假设。
• 理论保证在弱矩条件和依赖条件下成立，显式常数仅依赖于模型参数，如 $\|\Psi_A^{-1}\|_2$ 和 $c_\vartheta$。