[论文解读] Sparse Estimation with Strongly Correlated Variables using Ordered Weighted L1 Regularization

Mário A. T. Figueiredo, Robert D. Nowak|arXiv (Cornell University)|Sep 14, 2014

Sparse and Compressive Sensing Techniques参考文献 23被引用 18

一句话总结

本文提出有序加权 ℓ₁（OWL）正则化方法，用于在高度相关变量的高维回归中进行稀疏估计。通过利用对较大系数绝对值施加更重惩罚的有序权重，OWL 自动将相关变量聚类——强制其估计系数相等——同时保持最优样本复杂度：无论聚类规模如何，O(s log p) 个样本即可恢复 s-稀疏信号，与独立设计下的性能相当。

ABSTRACT

This paper studies ordered weighted L1 (OWL) norm regularization for sparse estimation problems with strongly correlated variables. We prove sufficient conditions for clustering based on the correlation/colinearity of variables using the OWL norm, of which the so-called OSCAR is a particular case. Our results extend previous ones for OSCAR in several ways: for the squared error loss, our conditions hold for the more general OWL norm and under weaker assumptions; we also establish clustering conditions for the absolute error loss, which is, as far as we know, a novel result. Furthermore, we characterize the statistical performance of OWL norm regularization for generative models in which certain clusters of regression variables are strongly (even perfectly) correlated, but variables in different clusters are uncorrelated. We show that if the true p-dimensional signal generating the data involves only s of the clusters, then O(s log p) samples suffice to accurately estimate the signal, regardless of the number of coefficients within the clusters. The estimation of s-sparse signals with completely independent variables requires just as many measurements. In other words, using the OWL we pay no price (in terms of the number of measurements) for the presence of strongly correlated variables.

研究动机与目标

• 解决当预测变量高度相关时，标准正则化方法失效的稀疏估计挑战。
• 开发一种正则化框架，可自动将相关变量聚类为系数估计相等的组。
• 在平方误差和绝对误差损失函数下，建立 OWL 正则化的理论保证。
• 从样本复杂度角度，表征 OWL 在具有聚类结构、高度相关的生成模型中的统计性能。
• 证明即使存在强相关性，OWL 也无需增加样本需求，而传统方法则会因此付出额外代价。

提出的方法

• 将 OWL 正则项定义为 Ω_w(x) = ∑ w_i |x|_[i]，其中 |x|_[i] 表示 x 的第 i 大绝对值，w_i 为非递增权重。
• 在两个优化问题中使用 OWL 范数作为正则项：一个采用平方误差损失，另一个采用绝对误差损失。
• 证明在何种条件下，OWL 可对高度相关的变量诱导系数聚类，从而推广 OSCAR 方法。
• 利用高斯过程和 Rademacher 复杂度技术，建立有限样本误差界，重点分析 OWL 范数球的宽度。
• 在变量被分组为完美或强相关聚类的生成模型下，分析统计性能。
• 在最小假设下，推导出准确恢复 s-稀疏信号的样本复杂度界为 O(s log p)，且该界与聚类大小无关。

实验结果

研究问题

• RQ1 在设计矩阵中，OWL 正则化在何种条件下可对高度相关的变量诱导系数聚类？
• RQ2 在绝对误差损失下，OWL 的表现如何？其是否将 OSCAR 的聚类特性推广至该设定？
• RQ3 当变量被聚类为强相关组时，OWL 正则化恢复 s-稀疏信号的样本复杂度是多少？
• RQ4 当设计矩阵的某些列完全相关时，OWL 正则化是否仍能保持最优样本复杂度？
• RQ5 在存在相关预测变量的情况下，OWL 是否能实现与标准 LASSO 相同的样本复杂度，而无需增加测量成本？

主要发现

• 在平方误差和绝对误差损失下，OWL 正则化均能对高度相关的变量诱导系数聚类，推广并强化了先前关于 OSCAR 的结果。
• 在绝对误差损失下，本文建立了新颖的聚类条件，据作者所知，这是首次提出此类条件。
• 在 s 个完美相关变量聚类且聚类间不相关的生成模型中，O(s log p) 个样本即可以高概率恢复真实信号。
• OWL 的样本复杂度与独立设计或受限等距性质下的标准稀疏恢复一致，即相关性不会导致额外测量需求。
• 在高斯设计下，OWL 范数可确保估计误差被控制在 O(√(s log p)/n) 以内，且该界仅依赖于 s 和 p，与聚类内系数数量无关。
• 理论分析表明，OWL 范数球的 Minkowski 泛函控制估计误差，且该球的宽度可通过高斯过程和 Rademacher 复杂度工具进行有界。