[论文解读] Accuracy Assessment for High-dimensional Linear Regression

Tommaso Cai, Zijian Guo|arXiv (Cornell University)|Mar 10, 2016

Statistical Methods and Inference参考文献 13被引用 6

一句话总结

本文建立了高维线性回归中ℓ_q损失估计的极小极大下界，为Lasso和Dantzig选择器等速率最优估计器的ℓ_q损失点估计与区间估计提供了精确率。研究揭示了估计ℓ_2损失与ℓ_q损失（1 ≤ q < 2）之间的根本差异，并在已知与未知设计协方差及噪声方差设定下，推导出极小极大与自适应置信区间，采用新颖的技术工具处理在估计器性能约束下的损失估计问题。

ABSTRACT

This paper considers point and interval estimation of the $\ell_q$ loss of an estimator in high-dimensional linear regression with random design. We establish the minimax rate for estimating the $\ell_{q}$ loss and the minimax expected length of confidence intervals for the $\ell_{q}$ loss of rate-optimal estimators of the regression vector, including commonly used estimators such as Lasso, scaled Lasso, square-root Lasso and Dantzig Selector. Adaptivity of the confidence intervals for the $\ell_{q}$ loss is also studied. Both the setting of known identity design covariance matrix and known noise level and the setting of unknown design covariance matrix and unknown noise level are studied. The results reveal interesting and significant differences between estimating the $\ell_2$ loss and $\ell_q$ loss with $1\le q &lt;2$ as well as between the two settings. New technical tools are developed to establish rate sharp lower bounds for the minimax estimation error and the expected length of minimax and adaptive confidence intervals for the $\ell_q$ loss. A significant difference between loss estimation and the traditional parameter estimation is that for loss estimation the constraint is on the performance of the estimator of the regression vector, but the lower bounds are on the difficulty of estimating its $\ell_q$ loss. The technical tools developed in this paper can also be of independent interest.

研究动机与目标

• 建立高维线性回归中ℓ_q损失点估计与区间估计的极小极大下界。
• 刻画Lasso、Dantzig选择器及其变体等速率最优估计器的ℓ_q损失置信区间最小极大期望长度。
• 研究在已知与未知设计协方差矩阵及噪声水平下，ℓ_q损失置信区间的自适应性。
• 识别并解释估计ℓ_2损失与ℓ_q损失（1 ≤ q < 2）之间的显著差异，尤其在估计难度与极小极大率方面。
• 开发针对损失估计的新技术工具，其中约束条件为估计器的性能，但下界目标为估计其ℓ_q损失的难度。

提出的方法

• 通过在回归向量和噪声水平上设定先验分布，采用两点检验方法推导ℓ_q损失估计误差的极小极大下界。
• 应用Le Cam方法与Fano不等式，在稀疏性约束下建立ℓ_q损失估计极小极大风险的紧下界。
• 构建回归向量β与噪声水平σ的联合先验分布，以在未知设计协方差与未知噪声方差下推导下界。
• 提出一种新颖的技术框架，将估计器性能作为约束条件，同时推导其ℓ_q损失估计难度的下界。
• 分析ℓ_q损失置信区间的极小极大期望长度，区分k₂ ≲ √n / log p与k₂ ≳ √n / log p两种情形。
• 通过验证其满足必要假设（A1与A2），确认所提出的下界适用于广泛使用的估计器，如Lasso、缩放Lasso、平方根Lasso与Dantzig选择器。

实验结果

研究问题

• RQ1 在随机设计的高维线性回归中，速率最优估计器的ℓ_q损失估计的极小极大率是多少？
• RQ2 在高维设定下，估计ℓ_q损失（1 ≤ q < 2）的难度与估计ℓ_2损失相比如何？
• RQ3 在已知与未知设计协方差及噪声方差下，ℓ_q损失置信区间的极小极大期望长度是多少？
• RQ4 能否构造出自适应置信区间，使ℓ_q损失的估计达到极小极大率，而无需事先知晓稀疏性或噪声水平？
• RQ5 在估计器性能为约束条件但下界目标为损失估计难度的前提下，推导ℓ_q损失估计紧下界的必要新技术工具是什么？

主要发现

• 当k₂ ≲ √n / log p时，ℓ_q损失估计的极小极大下界为k₂^(2/q) (log p)/n × σ₀²量级，该结果紧致且在q=2时与ℓ_2损失率一致。
• 当1 ≤ q < 2且k₂ ≳ √n / log p时，极小极大下界为max{ k₂^(2/q - 1) k₁ (log p)/n, k₂^(2/q - 1)/√n } × σ₀²量级，揭示了依赖于区域的行为特征。
• 当1 ≤ q < 2时，ℓ_q损失估计的极小极大率严格慢于ℓ_2损失，表明估计难度存在根本性差异。
• 本文证明了ℓ_q损失置信区间的极小极大期望长度存在下界，其依赖于稀疏度k₂与维度p，在不同稀疏度区域表现出不同行为。
• 结果表明，ℓ_q损失估计的极小极大下界是紧致的，且在适当调参下可被Lasso、缩放Lasso、平方根Lasso与Dantzig选择器等标准估计器实现。
• 所开发的技术工具，包括联合先验与受控总变差距离的两点检验，被证明在损失估计问题中有效推导出紧致下界。