[论文解读] Basis Pursuit and Orthogonal Matching Pursuit for Subspace-preserving Recovery: Theoretical Analysis

Daniel P. Robinson, Renè Vidal+1 more|arXiv (Cornell University)|Dec 30, 2019

Sparse and Compressive Sensing Techniques参考文献 46被引用 5

一句话总结

本文对基追踪（Basis Pursuit, BP）和正交匹配追踪（Orthogonal Matching Pursuit, OMP）在子空间保持恢复中的理论分析进行了研究，其中信号位于由相关字典列张成的低维子空间中。主要贡献在于建立了几何条件——覆盖半径和角度距离——在这些条件下，即使字典不具备无 coherence 或受限等距性质，BP 和 OMP 也能唯一恢复出能正确识别正确子空间的表示。

ABSTRACT

Given an overcomplete dictionary $A$ and a signal $b = Ac^*$ for some sparse vector $c^*$ whose nonzero entries correspond to linearly independent columns of $A$, classical sparse signal recovery theory considers the problem of whether $c^*$ can be recovered as the unique sparsest solution to $b = A c$. It is now well-understood that such recovery is possible by practical algorithms when the dictionary $A$ is incoherent or restricted isometric. In this paper, we consider the more general case where $b$ lies in a subspace $\mathcal{S}_0$ spanned by a subset of linearly dependent columns of $A$, and the remaining columns are outside of the subspace. In this case, the sparsest representation may not be unique, and the dictionary may not be incoherent or restricted isometric. The goal is to have the representation $c$ correctly identify the subspace, i.e. the nonzero entries of $c$ should correspond to columns of $A$ that are in the subspace $\mathcal{S}_0$. Such a representation $c$ is called subspace-preserving, a key concept that has found important applications for learning low-dimensional structures in high-dimensional data. We present various geometric conditions that guarantee subspace-preserving recovery. Among them, the major results are characterized by the covering radius and the angular distance, which capture the distribution of points in the subspace and the similarity between points in the subspace and points outside the subspace, respectively. Importantly, these conditions do not require the dictionary to be incoherent or restricted isometric. By establishing that the subspace-preserving recovery problem and the classical sparse signal recovery problem are equivalent under common assumptions on the latter, we show that several of our proposed conditions are generalizations of some well-known conditions in the sparse signal recovery literature.

研究动机与目标

• 本文旨在将经典稀疏恢复理论扩展至信号位于由线性相关字典列张成的子空间的情形。
• 研究 BP 和 OMP 在稀疏解不唯一时，仍能恢复出正确识别子空间的表示的条件。
• 目标是为实例和通用的子空间保持恢复建立充分的几何条件，特别是覆盖半径和角度距离。
• 旨在将经典稀疏恢复中的无 coherence 和受限等距条件推广至更一般的子空间保持设置。
• 旨在证明在标准假设下，子空间保持恢复等价于经典稀疏恢复，从而统一两种框架。

提出的方法

• 分析利用了字典的几何性质：子空间的覆盖半径以及子空间列与非子空间列之间的角度距离。
• 引入了对偶集 K0 的外接球半径 R0 和内接球半径 r0 的概念，这些量与覆盖半径和角度距离相关。
• 通过 BP 的对偶问题，推导出子空间与字典其余部分之间互相关性的界。
• 证明当内接球半径与外接球半径之比满足涉及字典相干性的特定不等式时，广义唯一子空间条件（G-USC）成立。
• 理论结果通过线性规划中的强对偶性以及在子空间上的几何优化推导得出。
• 通过证明在标准假设下，子空间保持恢复问题与经典稀疏恢复等价，将两者联系起来。

实验结果

研究问题

• RQ1 当字典列线性相关时，基追踪（BP）和正交匹配追踪（OMP）在何种几何条件下能唯一恢复出子空间保持表示？
• RQ2 子空间与字典其余部分之间的覆盖半径和角度距离如何影响 BP 和 OMP 在子空间保持恢复中的成功？
• RQ3 经典无 coherence 和受限等距条件能否推广至子空间保持恢复中字典相关的场景？
• RQ4 所提出的几何条件在多大程度上涵盖了或推广了稀疏恢复理论中的现有条件？
• RQ5 在标准假设下，子空间保持恢复问题是否等价于经典稀疏恢复？如果是，这种等价性如何为新条件提供启示？

主要发现

• 本文证明，当覆盖半径和角度距离满足特定几何界时，BP 和 OMP 的子空间保持恢复可被保证。
• 证明了对偶集 K0 的内接球半径 r0 与外接球半径 R0 成反比关系，即 r0 = 1/R0。
• 推导出广义唯一子空间条件（G-USC）的充分条件：r0 > µ(A)/r0，等价于 r0² > µ(A)，其中 µ(A) 为字典的相干性。
• 子空间与字典其余部分之间的角度距离受相干性和内接球半径的约束，对所有子空间中的单位向量 v，有 ∥A⊤_−v∥∞ ≤ µ(A)/r0。
• 结果表明，所提出的条件即使在字典不具备无 coherence 或受限等距性质时，也能推广经典无 coherence 和受限等距条件。
• 本文证明，在标准假设下，子空间保持恢复问题与经典稀疏恢复等价，验证了新条件的更广泛应用性。