[论文解读] Matrix ALPS: Accelerated Low Rank and Sparse Matrix Reconstruction

Anastasios Kyrillidis, Volkan Cevher|arXiv (Cornell University)|Mar 17, 2012

Sparse and Compressive Sensing Techniques参考文献 16被引用 6

一句话总结

Matrix ALPS 是一种基于记忆加速的一阶投影梯度法，用于从不完整且被污染的线性测量中恢复低秩和稀疏矩阵分量。在稳定嵌入条件下，其收敛速度优于当前最先进的凸与非凸方法，并且当测量算子对低秩和稀疏分量均满足限制等距性质时，具有全局收敛的理论保证。

ABSTRACT

We propose Matrix ALPS for recovering a sparse plus low-rank decomposition of a matrix given its corrupted and incomplete linear measurements. Our approach is a first-order projected gradient method over non-convex sets, and it exploits a well-known memory-based acceleration technique. We theoretically characterize the convergence properties of Matrix ALPS using the stable embedding properties of the linear measurement operator. We then numerically illustrate that our algorithm outperforms the existing convex as well as non-convex state-of-the-art algorithms in computational efficiency without sacrificing stability.

研究动机与目标

• 开发一种高效算法，从不完整且被污染的线性测量中将矩阵分解为低秩和稀疏分量。
• 在现有凸与非凸方法的基础上，提升低秩与稀疏矩阵恢复的计算效率。
• 利用测量算子的稳定嵌入与限制等距性质，提供理论收敛保证。
• 将一阶方法的适用范围扩展至非凸结构化矩阵恢复问题。

提出的方法

• Matrix ALPS 在对应于低秩与稀疏矩阵约束的非凸集合上，采用一阶投影梯度法。
• 通过类似 Nesterov 多种动量的记忆加速机制，提升收敛速度。
• 在迭代更新过程中，交替地对秩约束集与稀疏性约束集进行投影。
• 通过误差传播导出的耦合线性系统分析收敛性，得到涉及类似海塞算子的矩阵递推关系。
• 利用低秩与稀疏分量的限制等距性质（RIP），建立理论稳定性，其中对 δ4k 与 δ4s 给出界。
• 构建二维一阶系统以建模误差项的演化，实现基于特征值的收敛性分析。

实验结果

研究问题

• RQ1 具有记忆加速的一阶方法是否能在低秩与稀疏矩阵恢复中实现比现有凸与非凸求解器更快的收敛速度？
• RQ2 在何种测量算子条件下，该算法能保证全局收敛至真实分解结果？
• RQ3 低秩与稀疏分量的限制等距常数如何共同影响系统的稳定性与收敛速率？
• RQ4 记忆加速技术能否有效适配于非凸结构化矩阵恢复问题？

主要发现

• 在数值实验中，Matrix ALPS 的收敛速度优于当前最先进的凸与非凸算法，且未牺牲稳定性。
• 当测量算子对低秩分量满足秩-RIP 且 δ4k ≤ 0.09，对稀疏分量满足稀疏-RIP 且 δ4s ≤ 0.095 时，理论收敛性得以证明。
• 联合地，测量算子必须满足低秩与稀疏-RIP，且 δ3k+3s ≤ 0.095，才能保证收敛性。
• 系统转移矩阵的特征值为实数，且严格位于单位圆内，确保误差动态的全局渐近稳定性。
• 随着迭代次数趋于无穷，算法收敛至真实的低秩与稀疏分量，且两误差项均趋于零。