[论文解读] De-Biasing The Lasso With Degrees-of-Freedom Adjustment

Pierre Bellec, Cun‐Hui Zhang|arXiv (Cornell University)|Feb 24, 2019

Statistical Methods and Inference参考文献 39被引用 19

一句话总结

该论文提出了一种针对高维线性回归中Lasso的自由度调整去偏方法，以实现对系数向量低维投影的有效统计推断。通过调整Lasso所选择的模型复杂度，该方法在所有稀疏性范围内均实现了名义覆盖率和渐近效率，包括以往去偏方案因覆盖不足而失效的情况。

ABSTRACT

This paper studies schemes to de-bias the Lasso in a linear model $y=Xβ+ε$ where the goal is to construct confidence intervals for $a_0^Tβ$ in a direction $a_0$, where $X$ has iid $N(0,Σ)$ rows. We show that previously analyzed propositions to de-bias the Lasso require a modification in order to enjoy efficiency in a full range of sparsity. This modification takes the form of a degrees-of-freedom adjustment that accounts for the dimension of the model selected by Lasso. Let $s_0$ be the true sparsity. If $Σ$ is known and the ideal score vector proportional to $XΣ^{-1}a_0$ is used, the unadjusted de-biasing schemes proposed previously enjoy efficiency if $s_0\lll n^{2/3}$. However, if $s_0\ggg n^{2/3}$, the unadjusted schemes cannot be efficient in certain $a_0$: then it is necessary to modify existing procedures by a degrees-of-freedom adjustment. This modification grants asymptotic efficiency for any $a_0$ when $s_0/p o 0$ and $s_0\log(p/s_0)/n o 0$. If $Σ$ is unknown, efficiency is granted for general $a_0$ when $$\frac{s_0\log p}{n}+\min\Big\{\frac{s_Ω\log p}{n},\frac{\|Σ^{-1}a_0\|_1\sqrt{\log p}}{\|Σ^{-1/2}a_0\|_2 \sqrt n}\Big\}+\frac{\min(s_Ω,s_0)\log p}{\sqrt n} o0$$ where $s_Ω=\|Σ^{-1}a_0\|_0$, provided that the de-biased estimate is modified with the degrees-of-freedom adjustment. The dependence in $s_0,s_Ω$ and $\|Σ^{-1}a_0\|_1$ is optimal. Our estimated score vector provides a novel methodology to handle dense $a_0$. Our analysis shows that the degrees-of-freedom adjustment is not needed when the initial bias in direction $a_0$ is small, which is granted under stringent conditions on $Σ^{-1}$. The main proof argument is an interpolation path similar to that typically used to derive Slepian's lemma. It yields a new $\ell_\infty$ error bound for the Lasso which is of independent interest.

研究动机与目标

• 解决现有Lasso去偏方法在高维设置下当稀疏性较高时的失效问题。
• 开发一种去偏程序，即使当非零系数个数 $ s_0 $ 超过 $ n^{2/3} $ 时，仍能保持名义覆盖率和渐近效率。
• 提供一个理论基础坚实的调整方法，以考虑Lasso所选择的随机模型维度，从而提升推断的有效性。
• 弥合高维模型中高效推断所需样本量的已知上下界之间的差距。
• 构建一种新颖的估计得分向量，以有效处理密集方向 $ \boldsymbol{a}_0 $。

提出的方法

• 在去偏估计量中引入一个自由度调整项 $ \nu $，其中 $ \nu $ 用于反映Lasso解中非零系数的个数。
• 基于估计得分向量进行一步校正，以在方向 $ \boldsymbol{a}_0 $ 上对Lasso估计量进行去偏，同时调整所选模型的有效自由度。
• 使用一个独立推导出的Lasso的尖锐 $ \ell_\infty $ 误差界作为关键技术工具，用于控制渐近展开中的余项。
• 采用条件高斯近似和浓度不等式，以界定去偏估计量渐近分布中的余项。
• 建立对模型选择事件 $ \Omega_1 \cap \Omega_2 $ 的联合控制，其中Lasso路径表现良好，且设计矩阵满足正则性条件。
• 使用尺度不变变换将 $ \|\boldsymbol{\Sigma}^{-1/2}\boldsymbol{a}_0\|_2 = 1 $ 标准化，从而在不失一般性的情况下简化渐近分析。

实验结果

研究问题

• RQ1 当真实稀疏性 $ s_0 $ 相对于 $ n $ 较大时，Lasso的标准去偏方案是否仍能保持名义覆盖率？
• RQ2 自由度调整能否在高稀疏性范围内恢复名义覆盖率和渐近效率？
• RQ3 在高维线性模型中，高效推断对 $ s_0 $、$ s_\Omega = \|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_0 $ 和 $ \|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_1 $ 的最优依赖关系是什么？
• RQ4 如何将去偏程序扩展以有效处理 $ \|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_1 $ 较大的密集方向 $ \boldsymbol{a}_0 $？
• RQ5 Lasso的尖锐 $ \ell_\infty $ 误差界是什么？它如何为去偏框架提供支撑？

主要发现

• 当 $ s_0 \ggg n^{2/3} $ 时，即使已知 $ \boldsymbol{\Sigma} $，未调整的去偏方案也无法实现名义覆盖率。
• 所提出的自由度调整方法在所有稀疏性范围内均恢复了名义覆盖率和渐近效率，包括高 $ s_0 $ 的情况。
• 当 $ \frac{s_0\log p}{n} + \min\left\{\frac{s_\Omega\log p}{n}, \frac{\|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_1\sqrt{\log p}}{\|\boldsymbol{\Sigma}^{-1/2}\boldsymbol{a}_0\|_2\sqrt{n}}\right\} + \frac{\min(s_\Omega, s_0)\log p}{\sqrt{n}} \to 0 $ 时，该方法实现了效率。
• 对 $ s_0 $、$ s_\Omega $ 和 $ \|\boldsymbol{\Sigma}^{-1}\boldsymbol{a}_0\|_1 $ 的依赖关系是最优的，填补了先前上下界之间的差距。
• 估计得分向量的构造使得对密集方向 $ \boldsymbol{a}_0 $ 的有效推断成为可能，而这类方向此前难以处理。
• 本文推导出Lasso的尖锐 $ \ell_\infty $ 误差界，该结果本身具有独立兴趣，并构成了主要理论结果的基础。