[论文解读] Exact Support and Vector Recovery of Constrained Sparse Vectors via Constrained Matching Pursuit

Jinglai Shen, Seyedahmad Mousavi|arXiv (Cornell University)|Mar 18, 2019

Sparse and Compressive Sensing Techniques参考文献 34被引用 7

一句话总结

本文提出了一种约束匹配追踪（CMP）算法，用于在一般约束集下对稀疏向量实现精确支持与向量恢复，表明恢复性能关键取决于测量矩阵和约束集。主要贡献在于引入了坐标投影可容许（CP可容许）集合——如非负性、多面体或单调性约束——并基于类似受限等距常数和正交性常数的条件，建立了精确恢复的充分条件。

ABSTRACT

Matching pursuit, especially its orthogonal version and other variations, is a greedy algorithm widely used in signal processing, compressed sensing, and sparse modeling and approximation. Inspired by constrained sparse signal recovery, this paper proposes a constrained matching pursuit algorithm and develops conditions for exact support and vector recovery on constraint sets via this algorithm. We show that exact recovery via constrained matching pursuit not only depends on a measurement matrix but also critically relies on a constraint set. We thus identify an important class of constraint sets, called coordinate projection admissible set, or simply CP admissible sets. This class of sets includes the Euclidean space, the nonnegative orthant, and many others arising from various applications; analytic and geometric properties of these sets are established. We then study exact vector recovery on convex, CP admissible cones for a fixed support. We provide sufficient exact recovery conditions for a general fixed support as well as necessary and sufficient recovery conditions for a fixed support of small size. As a byproduct of our results, we construct a nontrivial counterexample to the necessary conditions of exact vector recovery via the orthogonal matching pursuit given by Foucart, Rauhut, and Tropp, when the a given support is of size three. Moreover, by making use of cone properties and conic hull structure of CP admissible sets and constrained optimization techniques, we also establish sufficient conditions for uniform exact recovery on CP admissible sets in terms of the restricted isometry-like constant and the restricted orthogonality-like constant.

研究动机与目标

• 为填补对一般约束下精确稀疏恢复理论理解的空白，特别是针对OMP等贪婪算法。
• 开发一种约束匹配追踪（CMP）算法，将OMP推广至处理任意约束集。
• 识别并表征一类可实现精确恢复的约束集——CP可容许集合，尤其适用于结构化稀疏性。
• 推导凸CP可容许锥上精确向量恢复的充分必要条件，尤其针对小支持大小的情形。
• 通过新的受限等距类似常数和正交性类似常数，建立在一般凸CP可容许集上的一致恢复条件。

提出的方法

• 提出一种约束匹配追踪（CMP）算法，通过在每一步进行约束坐标优化来选择下一个支持索引。
• 在每次迭代中，算法通过当前支持上的最优拟合测量向量约束，求解约束优化问题以更新目标向量。
• 引入坐标投影可容许（CP可容许）集合的概念，包括R、R+和R−的笛卡尔积，以及其他特定应用的集合。
• 为一般约束集定义受限等距类似常数δ̃K和受限正交性类似常数θ̃K，将经典OMP常数推广至约束设置。
• 利用凸分析与优化技术，推导出在凸CP可容许集合上实现一致精确恢复的充分条件。
• 采用扰动分析证明在小矩阵扰动下恢复条件的稳定性，表明满足恢复条件的矩阵集合在矩阵空间中是开集。

实验结果

研究问题

• RQ1 约束的引入如何影响OMP等贪婪算法在精确支持与向量恢复性能上的表现？
• RQ2 哪类约束集能够通过约束匹配追踪实现精确恢复？其结构特性是什么？
• RQ3 能否为凸CP可容许锥上小支持大小（如K=2,3）推导出精确向量恢复的必要与充分条件？
• RQ4 以新定义的受限常数表示，一般凸CP可容许集上一致精确恢复的充分条件是什么？
• RQ5 经典的OMP恢复必要条件是否可能被违反？若可能，其条件是什么？

主要发现

• 通过约束匹配追踪实现的精确恢复不仅依赖于测量矩阵，更关键地取决于约束集的结构。
• CP可容许集合被正式定义，并证明其包含许多实际应用相关的约束，如非负性、多面体和单调性约束。
• 对于支持大小K=2和K=3，本文推导出在凸CP可容许锥上精确向量恢复的必要与充分条件。
• 构造了一个非平凡反例，推翻了Foucart、Rauhut和Tropp提出的OMP精确恢复经典必要条件（当K=3时），表明该条件并非普遍成立。
• 通过受限等距类似常数δ̃K和受限正交性类似常数θ̃K，建立了在一般凸CP可容许集上一致精确恢复的充分条件，要求满足1−δ̃K > √K·θ̃K。
• 证明了满足恢复条件的矩阵集合在矩阵空间中是开集，意味着对测量矩阵的小扰动具有鲁棒性。