[论文解读] Estimation with Norm Regularization

Arindam Banerjee, Sheng Chen+2 more|arXiv (Cornell University)|May 9, 2015

Sparse and Compressive Sensing Techniques参考文献 19被引用 41

一句话总结

本文通过在范数类型、设计矩阵、损失函数和噪声模型四个方面推广误差界，提出了一种统一的非渐近分析方法，用于范数正则化回归估计器。研究证明，当样本复杂度超过与受限误差集的高斯宽度相关的阈值后，估计误差以 $\frac{c}{\sqrt{n}}$ 的速率衰减，其关键结果为：在次高斯设计和凸损失下，该通用界适用于任意范数。

ABSTRACT

Analysis of non-asymptotic estimation error and structured statistical recovery based on norm regularized regression, such as Lasso, needs to consider four aspects: the norm, the loss function, the design matrix, and the noise model. This paper presents generalizations of such estimation error analysis on all four aspects compared to the existing literature. We characterize the restricted error set where the estimation error vector lies, establish relations between error sets for the constrained and regularized problems, and present an estimation error bound applicable to any norm. Precise characterizations of the bound is presented for isotropic as well as anisotropic subGaussian design matrices, subGaussian noise models, and convex loss functions, including least squares and generalized linear models. Generic chaining and associated results play an important role in the analysis. A key result from the analysis is that the sample complexity of all such estimators depends on the Gaussian width of a spherical cap corresponding to the restricted error set. Further, once the number of samples $n$ crosses the required sample complexity, the estimation error decreases as $\frac{c}{\sqrt{n}}$, where $c$ depends on the Gaussian width of the unit norm ball.

研究动机与目标

• 将非渐近估计误差分析从现有文献中广泛局限于各向同性高斯设计和特定范数（如 $L_1$）的情况推广至更一般情形。
• 刻画估计误差向量所在的受限误差集 $E_r$，其定义基于正则化范数与常数 $\beta > 1$ 的条件。
• 建立正则化估计器与约束估计器之间的联系，证明在适当条件下两者在误差集包含关系上具有等价性。
• 推导出依赖于受限误差集对应球帽的高斯宽度的通用样本复杂度阈值。
• 精确刻画在样本量充足后估计误差衰减为 $\frac{c}{\sqrt{n}}$ 的特性，其中 $c$ 与单位范数球的高斯宽度成正比。

提出的方法

• 引入一个通用的受限误差集 $E_r = \{ \Delta \in \mathbb{R}^p \mid R(\theta^* + \Delta) \leq R(\theta^*) + \frac{1}{\beta} R(\Delta) \}$（$\beta > 1$），以捕捉估计误差的结构特征。
• 应用泛化链和高斯过程不等式，对与受限误差集相关的集合上子高斯过程的上确界进行有界。
• 利用戈登不等式及高斯宽度的性质，推导出受限特征值和受限强凸性条件的界。
• 分析损失函数在受限误差集上的黑塞矩阵，证明其最小特征值有下界，且该下界与高斯宽度成正比。
• 通过次高斯集中和链式论证，推导出经验黑塞矩阵 $\frac{1}{n} \sum_{i=1}^n \langle X_i, u \rangle^2 \mathbb{I}[\cdots]$ 的高概率下界。
• 证明正则化参数 $\lambda_n$ 必须与受限集合的高斯宽度成比例，以确保一致恢复。

实验结果

研究问题

• RQ1 如何将非渐近估计误差界推广至范数、设计矩阵、损失函数和噪声模型这四个方面的统一框架？
• RQ2 范数正则化估计器的受限误差集 $E_r$ 的精确刻画是什么？其与估计误差向量有何关系？
• RQ3 范数正则化估计器的样本复杂度如何依赖于参数空间的几何性质（如高斯宽度）？
• RQ4 在样本复杂度阈值被超越后，估计误差的收敛速率如何？
• RQ5 通用链式法与次高斯集中技术如何实现对非各向同性及次高斯设计矩阵的更紧界？

主要发现

• 当 $\lambda_n$ 足够大时，估计误差向量 $\hat{\Delta}_n$ 落在受限误差集 $E_r$ 中，该集合由涉及 $\beta > 1$ 的基于范数的约束定义。
• 范数正则化估计器的样本复杂度由与受限误差集对应的球帽的高斯宽度决定。
• 当样本数 $n$ 超过所需样本复杂度后，估计误差以 $\frac{c}{\sqrt{n}}$ 的速率衰减，其中 $c$ 与单位范数球的高斯宽度成正比。
• 对于次高斯设计矩阵和凸损失函数（包括最小二乘和广义线性模型），通过通用链式法可获得高概率误差界。
• 受限强凸性条件通过受限误差集的高斯宽度进行刻画，从而实现更紧的恢复保证。
• 在次高斯假设下，分析表明损失函数的黑塞矩阵以高概率有下界，形式为 $\underline{\rho}^2 \left(1 - c\kappa_1^2 \frac{w(A)}{\sqrt{n}}\right)$。