[论文解读] Minimax rates of estimation for high-dimensional linear regression over $\ell_q$-balls

Garvesh Raskutti, Martin J. Wainwright+1 more|arXiv (Cornell University)|Oct 11, 2009

Sparse and Compressive Sensing Techniques参考文献 26被引用 5

一句话总结

本文建立了在 $β^*$-约束的 $µ_q$-球（$q \in [0,1]$）下高维线性回归的极小极大估计率，表明在设计矩阵 $X$ 满足正则性条件时，$\ell_2$-损失下的极小极大误差按 $R_q \left(\frac{\log d}{n}\right)^{1 - q/2}$ 规模缩放。分析结合了通过 Fano 不等式和度量熵推导的信息论下界，以及在 $\ell_q$-球上使用最小二乘法的构造性上界。

ABSTRACT

Consider the standard linear regression model $\y = \Xmat \betastar + w$, where $\y \in eal^ umobs$ is an observation vector, $\Xmat \in eal^{ umobs imes \pdim}$ is a design matrix, $\betastar \in eal^\pdim$ is the unknown regression vector, and $w \sim \mathcal{N}(0, σ^2 I)$ is additive Gaussian noise. This paper studies the minimax rates of convergence for estimation of $\betastar$ for $\ell_ par$-losses and in the $\ell_2$-prediction loss, assuming that $\betastar$ belongs to an $\ell_{\qpar}$-ball $\Ballq(\myrad)$ for some $\qpar \in [0,1]$. We show that under suitable regularity conditions on the design matrix $\Xmat$, the minimax error in $\ell_2$-loss and $\ell_2$-prediction loss scales as $\Rq \big(\frac{\log \pdim}{n}\big)^{1-\frac{\qpar}{2}}$. In addition, we provide lower bounds on minimax risks in $\ell_{ par}$-norms, for all $ par \in [1, +\infty], par eq \qpar$. Our proofs of the lower bounds are information-theoretic in nature, based on Fano's inequality and results on the metric entropy of the balls $\Ballq(\myrad)$, whereas our proofs of the upper bounds are direct and constructive, involving direct analysis of least-squares over $\ell_{\qpar}$-balls. For the special case $q = 0$, a comparison with $\ell_2$-risks achieved by computationally efficient $\ell_1$-relaxations reveals that although such methods can achieve the minimax rates up to constant factors, they require slightly stronger assumptions on the design matrix $\Xmat$ than algorithms involving least-squares over the $\ell_0$-ball.

研究动机与目标

• 确定当真实回归向量 $\beta^*$ 位于 $\ell_q$-球内且 $q \in [0,1]$ 时，高维线性回归的理论极小极大估计率。
• 在一般设计矩阵条件下，为 $\ell_p$-范数（$p \in [1,\infty]$，$p \neq q$）建立极小极大风险的紧下界。
• 比较计算高效的 $\ell_1$-松弛方法与最优最小二乘法在 $\ell_0$-球上的性能，从极小极大率和所需假设角度进行分析。
• 刻画高维稀疏回归中估计的信息论极限，且独立于计算成本。

提出的方法

• 利用 Fano 不等式和 $\ell_q$-球（$q \in [0,1]$）的度量熵，推导极小极大风险的下界，确立理论极限。
• 通过直接分析受限于 $\ell_q$-球的最小二乘估计器，构造上界，证明其收敛速率与下界一致。
• 采用剥皮技术及高斯混沌的尾部界，控制稀疏子集上 $w^T X \theta / n$ 的上确界。
• 应用 $\chi^2$-分布变量的大偏差界，控制估计误差分解中的噪声项。
• 利用度量熵论证量化 $\ell_q$-球的复杂度，尤其针对 $q < 1$ 时非凸集合的情形。
• 将 $\ell_1$-松弛方法与最优最小二乘法在 $\ell_0$-球上的性能进行比较，表明后者对 $X$ 的假设要求略弱。

实验结果

研究问题

• RQ1 当 $\beta^*$ 位于 $\ell_q$-球内且 $q \in [0,1]$ 时，$\ell_2$-损失下的极小极大估计率是多少？
• RQ2 对于 $\ell_p$-范数（$p \neq q$），极小极大率如何随维度 $d$、样本量 $n$ 和稀疏度水平 $R_q$ 缩放？
• RQ3 $\ell_1$-方法能否在常数因子内达到极小极大率？对设计矩阵 $X$ 需要哪些假设？
• RQ4 度量熵和 Fano 不等式在推导非凸 $\ell_q$-球（$q < 1$）的紧下界中起什么作用？
• RQ5 信息论极限与计算高效估计器（如 Lasso）的性能相比如何？

主要发现

• 在设计矩阵 $X$ 满足正则性条件时，$\beta^*$ 位于 $\ell_q$-球内时，$\ell_2$-损失下的极小极大估计率按 $R_q \left(\frac{\log d}{n}\right)^{1 - q/2}$ 缩放，与推导的下界一致。
• 利用 Fano 不等式和 $\ell_q$-球的度量熵，为所有 $\ell_p$-范数（$p \in [1,\infty]$，$p \neq q$）建立了极小极大风险的下界。
• 当 $q=0$ 时，极小极大率由 $\ell_0$-球上的最小二乘法实现，但 $\ell_1$-松弛方法需更强的 $X$ 假设才能在常数因子内达到相同率。
• 分析表明，$\ell_1$-方法（如 Lasso）可在常数因子内达到极小极大率，但需强于最优最小二乘法在 $\ell_0$-球上所需的 $X$ 条件。
• 研究结果表明，当 $q \in (0,1)$ 时，基本极小极大率依赖于通过 $\ell_q$-范数体现的稀疏结构，且当 $q$ 较小时，其速率慢于 $\ell_2$-方法。
• 结果揭示，在高维设置下，信息论极限可由最优估计器实现，且通过 $X$ 的假设量化了高效方法与最优方法之间的差距。