[论文解读] Matrix sparsification and the sparse null space problem

Lee-Ad Gottlieb, Tyler Neylon|arXiv (Cornell University)|Aug 9, 2010

Sparse and Compressive Sensing Techniques参考文献 29被引用 4

一句话总结

本文建立了稀疏零空间问题与矩阵稀疏化问题之间的等价性，证明在标准复杂性假设下，两者在近似因子 $2^{\text{log}^{.5-o(1)}n}$ 范围内均难以近似。本文提出了一种还原框架，利用 $\varepsilon$-近似 $\ell^1$-范数最小化，通过已知的稀疏逼近技术求解这些矩阵问题，并给出了在何种条件下解可被证明为最优。

ABSTRACT

We revisit the matrix problems sparse null space and matrix sparsification, and show that they are equivalent. We then proceed to seek algorithms for these problems: We prove the hardness of approximation of these problems, and also give a powerful tool to extend algorithms and heuristics for sparse approximation theory to these problems.

研究动机与目标

• 建立稀疏零空间问题与矩阵稀疏化问题之间的计算等价性。
• 研究这些问题的可近似性，表明在标准复杂性假设下，它们难以在最优解的 $2^{\text{log}^{.5-o(1)}n}$ 因子范围内被近似。
• 提供一种通用的约化框架，将稀疏逼近启发式方法系统性地扩展以求解这些矩阵问题。
• 确定 $\ell^1$-范数最小化可产生真正最优解的充分条件。

提出的方法

• 通过结构化矩阵变换，证明稀疏零空间与矩阵稀疏化之间的等价性。
• 将矩阵稀疏化与稀疏零空间问题约化为最小不满足问题（min unsatisfy）与精确字典表示（EDR）问题。
• 将最小不满足问题约化为 $\ell^1$-范数最小化，从而可应用现有的稀疏逼近算法。
• 利用伪逆与行/列空间包含关系，推导出最优性的充分条件，特别是 $|| (A_1^T)^+ A_0^T ||_{1,1} < 1$。
• 引入涉及符号向量与有界对偶向量（$||u||_\infty < 1$）的条件，以保证 $\ell^1$-最小化产生最优稀疏解。
• 利用 $A^T$ 的零空间结构与按列分解，将矩阵问题嵌入 EDR 实例中。

实验结果

研究问题

• RQ1 稀疏零空间问题与矩阵稀疏化问题在计算上是否等价？
• RQ2 矩阵稀疏化与稀疏零空间问题的最佳可能近似比是多少？
• RQ3 在何种条件下 $\ell^1$-范数最小化可为这些矩阵问题产生最优解？
• RQ4 现有稀疏逼近启发式方法能否通过约化系统性地扩展以求解这些矩阵问题？
• RQ5 输入矩阵的何种结构性质可确保 $\ell^1$-最小化产生最稀疏解？

主要发现

• 稀疏零空间问题与矩阵稀疏化问题在计算上等价，且存在双向约化。
• 在假设 NP 不具备准多项式时间确定性算法的前提下，两者均难以在最优解的 $2^{\text{log}^{.5-o(1)}n}$ 因子范围内被近似。
• 从最小不满足问题到 $\ell^1$-范数最小化的约化，当存在满足 $||u||_\infty < 1$ 且满足特定线性系统的对偶向量 $u$ 时，可产生最优解。
• 对于矩阵稀疏化问题，通过列分解将问题约化为最小不满足问题时，若 $|| (B_{i,1}^T)^+ B_{i,0}^T ||_{1,1} < 1$ 且对偶条件成立，则可获得最优解。
• 在稀疏零空间问题中，若 $||A_{i,0}^+ A_{i,1}||_{1,1} < 1$ 且对偶向量条件满足，则 $\ell^1$-最小化方法的最优性可被保证。
• 本文提供了一个统一框架，可将稀疏逼近技术应用于矩阵问题，并基于伪逆与行/列空间包含关系，给出具有可证明最优性的条件。