[论文解读] A Theoretical Analysis of Sparse Recovery Stability of Dantzig Selector and LASSO

Yun-Bin Zhao, Duan Li|arXiv (Cornell University)|Nov 10, 2017

Sparse and Compressive Sensing Techniques参考文献 43被引用 3

一句话总结

本文通过一种新颖的弱范围空间性质假设，对 Dantzig 选择器和 LASSO 的稀疏恢复稳定性进行了确定性理论分析，该假设比传统的 RIP 或 NSP 条件更宽松。它建立了统一的恢复误差界，稳定性系数以 Robinson 常数衡量，证明该假设对于标准 Dantzig 选择器稳定性而言既是充分条件也是必要条件。

ABSTRACT

Dantzig selector (DS) and LASSO problems have attracted plenty of attention in statistical learning, sparse data recovery and mathematical optimization. In this paper, we provide a theoretical analysis of the sparse recovery stability of these optimization problems in more general settings and from a new perspective. We establish recovery error bounds for these optimization problems under a mild assumption called weak range space property of a transposed design matrix. This assumption is less restrictive than the well known sparse recovery conditions such as restricted isometry property (RIP), null space property (NSP) or mutual coherence. In fact, our analysis indicates that this assumption is tight and cannot be relaxed for the standard DS problems in order to maintain their sparse recovery stability. As a result, a series of new stability results for DS and LASSO have been established under various matrix properties, including the RIP with constant $δ_{2k}< 1/\sqrt{2}$ and the (constant-free) standard NSP of order $k.$ We prove that these matrix properties can yield an identical recovery error bound for DS and LASSO with stability coefficients being measured by the so-called Robinson's constant, instead of the conventional RIP or NSP constant. To our knowledge, this is the first time that the stability results with such a unified feature are established for DS and LASSO problems. Different from the standard analysis in this area of research, our analysis is carried out deterministically, and the key analytic tools used in our analysis include the error bound of linear systems due to Hoffman and Robinson and polytope approximation of symmetric convex bodies due to Barvinok.

研究动机与目标

• 开发一种更通用且限制更少的理论框架，用于分析 Dantzig 选择器和 LASSO 的稀疏恢复稳定性。
• 用一种更温和、更自然的假设——转置设计矩阵的弱范围空间性质——替代传统的受限等距性质（RIP）和零空间性质（NSP）。
• 在单一理论框架下统一分析 Dantzig 选择器和 LASSO 的稳定性，并提供确定性的误差界。
• 证明所提出的弱范围空间性质不仅对标准 Dantzig 选择器稳定性是充分的，而且是必要的。
• 以 Robinson 常数表达稳定性系数，提供一种数据依赖的、无常数的稳定性度量。

提出的方法

• 基于 Hoffman 的线性系统误差界，采用确定性方法分析解的稳定性。
• 应用 Barvinok 的对称凸体多面体逼近技术，处理优化问题中的几何结构。
• 引入弱范围空间性质作为基本假设，该假设源自凸优化的最优性条件。
• 通过对偶性和基于范数的估计推导恢复误差界，利用共轭范数与对偶范数之间的关系。
• 通过涉及误差的 ℓ1-范数、促进稀疏性的项 σk(x)₁ 和参数 μ 的一系列不等式链建立稳定性界。
• 使用可行集上的投影算子，并利用集合之间的 Hausdorff 距离来界定解的偏差。

实验结果

研究问题

• RQ1 在弱于 RIP、NSP 或互相关性的假设下，能否建立 Dantzig 选择器和 LASSO 的稀疏恢复稳定性？
• RQ2 转置设计矩阵的弱范围空间性质是否对标准 Dantzig 选择器问题中的稳定稀疏恢复而言既是必要也是充分条件？
• RQ3 能否为 Dantzig 选择器和 LASSO 开发一个统一的稳定性框架，使用同一种类型的稳定性系数？
• RQ4 当使用 Robinson 常数而非传统的 RIP 或 NSP 常数测量时，Dantzig 选择器和 LASSO 的稳定性界有何异同？
• RQ5 参数 μ 在控制 LASSO 解的稳定性方面起什么作用，特别是在与 ℓ1-范数约束的关系中？

主要发现

• 弱范围空间性质是标准 Dantzig 选择器在稀疏恢复中稳定性的充分且必要条件。
• 在该假设下，建立了 Dantzig 选择器和 LASSO 的恢复误差界，稳定性系数以 Robinson 常数衡量。
• 本文证明了当 δ₂ₖ < 1/√2 时，RIP 成立，且标准 k 阶 NSP 成立，均可推出弱范围空间性质，从而确保稳定性。
• 在相同的矩阵假设下，Dantzig 选择器和 LASSO 的稳定性界实现统一，误差表达式完全一致。
• 对于 LASSO，当解位于 ℓ1-球边界上（即 ‖x‖₁ = μ）时，误差界为 ‖x − x*‖₂ ≤ δ + 4γ̂[φ(Mᵀ(Ax−y)) + σₖ(x)₁/c]，其中 δ 为 Hausdorff 距离，c 为常数。
• 该分析为完全确定性，避免了概率假设，相较于标准压缩感知方法提供了更强的理论保证。