[论文解读] Finding a sparse vector in a subspace: Linear sparsity using alternating directions

Qing Qu, Ju Sun+1 more|arXiv (Cornell University)|Dec 15, 2014

Sparse and Compressive Sensing Techniques参考文献 28被引用 30

一句话总结

本文提出一种非凸交替方向法（ADM），用于在植入稀疏模型下从随机子空间中恢复最稀疏的向量，其中目标向量被嵌入到一个随机子空间中。当稀疏度水平与维度呈线性关系时（即非零条目占 Ω(1) 比例），该方法可证明成功，优于在稀疏度超过 O(1/√n) 时即失效的凸松弛方法。

ABSTRACT

Is it possible to find the sparsest vector (direction) in a generic subspace $\mathcal{S} \subseteq \mathbb{R}^p$ with $\mathrm{dim}(\mathcal{S})= n < p$? This problem can be considered a homogeneous variant of the sparse recovery problem, and finds connections to sparse dictionary learning, sparse PCA, and many other problems in signal processing and machine learning. In this paper, we focus on a **planted sparse model** for the subspace: the target sparse vector is embedded in an otherwise random subspace. Simple convex heuristics for this planted recovery problem provably break down when the fraction of nonzero entries in the target sparse vector substantially exceeds $O(1/\sqrt{n})$. In contrast, we exhibit a relatively simple nonconvex approach based on alternating directions, which provably succeeds even when the fraction of nonzero entries is $Ω(1)$. To the best of our knowledge, this is the first practical algorithm to achieve linear scaling under the planted sparse model. Empirically, our proposed algorithm also succeeds in more challenging data models, e.g., sparse dictionary learning.

研究动机与目标

• 为解决在一般子空间中寻找最稀疏非零向量这一计算难题，该问题在一般情况下被证明是 NP-难的。
• 通过提出一种非凸替代方法，克服凸松弛方法在稀疏度超过 O(1/√n) 时失效的局限性。
• 在植入稀疏模型下，为稀疏向量恢复建立理论保证，其中目标稀疏向量被嵌入到一个随机子空间中。
• 开发一种实用且可扩展的算法，实现线性稀疏度缩放，即即使非零条目占恒定比例也能成功。
• 将稀疏恢复技术的适用范围扩展到稀疏字典学习和稀疏主成分分析等关键问题，其中子空间约束是核心。

提出的方法

• 提出一种用于求解非凸优化问题的交替方向法（ADM），该问题在矩阵的零空间中促进稀疏性。
• 通过变量分裂将稀疏向量恢复问题重新表述为在零空间约束下最小化 ℓ1-范数，从而支持交替最小化。
• 引入一种投影到标准基向量的舍入程序，利用几何和测度集中性论证。
• 使用随机矩阵理论进行概率分析，证明在植入模型下，ADM 子问题的解会集中在真实稀疏向量附近。
• 通过构造对偶证书，证明 ADM 子问题的解是唯一的，并与真实稀疏向量方向对齐。
• 通过正交变换改变基底，保持对子空间基表示的不变性，确保对输入基选择的鲁棒性。

实验结果

研究问题

• RQ1 在稀疏度较高的情况下，非凸优化方法是否能优于凸松弛方法，从子空间中恢复稀疏向量？
• RQ2 在具有植入稀疏向量的随机子空中，交替方向法在何种条件下收敛到真实稀疏向量？
• RQ3 是否能够实现线性稀疏度缩放（即非零条目占恒定比例），并使用一种实用且可证明收敛的算法？
• RQ4 在高稀疏度场景下，基于 ADM 的方法与凸启发式方法相比性能如何？
• RQ5 所提出的方法能否扩展到更一般的模型，例如在稀疏字典学习中，而不仅限于植入稀疏模型？

主要发现

• 所提出的 ADM 算法在植入稀疏模型下，当稀疏度水平为 Ω(1)（即维度的恒定比例）时，可证明恢复子空间中的最稀疏向量。
• 当稀疏度超过 O(1/√n) 时，凸松弛方法失效，而所提出的非凸 ADM 方法在达到线性稀疏度水平时仍能成功。
• 当环境维度 p 至少为 C₃n（C₃ 为绝对常数，与稀疏度水平无关）时，该算法以高概率成功。
• 当稀疏度参数 θ 低于绝对阈值 θ₀ 时，ADM 解的舍入步骤以高概率恢复正确的稀疏向量方向。
• 理论分析表明，ADM 子问题的解会集中在真实稀疏向量附近，且对偶证书满足精确恢复的充分条件。
• 实验结果表明，该方法在更复杂的模型（如稀疏字典学习）中也有效，而不仅限于植入稀疏模型。