[论文解读] A Nonconvex Free Lunch for Low-Rank plus Sparse Matrix Recovery

Xiao Zhang, Lingxiao Wang+1 more|arXiv (Cornell University)|Feb 21, 2017

Sparse and Compressive Sensing Techniques参考文献 46被引用 3

一句话总结

本文提出了一种基于矩阵分解和带双阈值算子的投影梯度下降法的非凸优化框架，用于低秩加稀疏矩阵恢复。该框架在一种新型结构Lipschitz梯度条件下实现了局部线性收敛，并在稀疏性鲁棒性方面达到现有最佳水平，该条件使叠加结构模型能够实现快速收敛。

ABSTRACT

We propose a unified framework to solve general low-rank plus sparse matrix recovery problems based on matrix factorization, which covers a broad family of objective functions satisfying the restricted strong convexity and smoothness conditions. Based on projected gradient descent and the double thresholding operator, our proposed generic algorithm is guaranteed to converge to the unknown low-rank and sparse matrices at a locally linear rate, while matching the best-known robustness guarantee (i.e., tolerance for sparsity). At the core of our theory is a novel structural Lipschitz gradient condition for low-rank plus sparse matrices, which is essential for proving the linear convergence rate of our algorithm, and we believe is of independent interest to prove fast rates for general superposition-structured models. We illustrate the application of our framework through two concrete examples: robust matrix sensing and robust PCA. Experiments on both synthetic and real datasets corroborate our theory.

研究动机与目标

• 为在统一的非凸优化框架下，从噪声或不完整观测中恢复低秩与稀疏矩阵分量提供解决方案。
• 为一般低秩加稀疏矩阵恢复问题建立具有局部线性收敛速率的收敛性保证。
• 实现目前已知最佳的稀疏性鲁棒性，与现有方法的理论容限极限相匹配。
• 提出一种专为叠加结构矩阵模型设计的新型结构Lipschitz梯度条件。
• 通过鲁棒矩阵感知和鲁棒PCA应用，在真实与合成数据上验证框架的有效性。

提出的方法

• 该框架采用矩阵分解参数化低秩分量，实现在低维流形上的非凸优化。
• 使用投影梯度下降法优化目标函数，投影操作确保迭代点始终位于低秩流形内。
• 引入双阈值算子，同时促进解的低秩与稀疏结构。
• 收敛性分析依赖于一种新型结构Lipschitz梯度条件，该条件捕捉了低秩加稀疏矩阵的几何特性。
• 该方法适用于满足限制强凸性和光滑性的广泛类别的目标函数。
• 在测量算子和噪声模型的标准假设下，推导出理论保证。

实验结果

研究问题

• RQ1 非凸优化框架能否在低秩加稀疏矩阵恢复中实现局部线性收敛？
• RQ2 目标函数的何种结构条件可使叠加结构模型实现快速收敛速率？
• RQ3 与现有凸或非凸方法相比，该方法在稀疏性鲁棒性方面表现如何？
• RQ4 该框架能否在鲁棒矩阵感知和鲁棒PCA等具体问题上实现理论保证？
• RQ5 新型结构Lipschitz梯度条件在实现快速收敛中起到何种作用？

主要发现

• 在标准假设下，所提算法在局部以线性速率收敛至真实的低秩与稀疏分量。
• 该方法实现了目前已知最佳的稀疏性鲁棒性，与先前工作的理论容限极限一致。
• 新型结构Lipschitz梯度条件对于证明线性收敛速率至关重要，且对一般叠加结构模型具有独立研究价值。
• 在合成与真实数据集上的实验结果验证了理论收敛性与鲁棒性声明。
• 该框架成功推广至鲁棒矩阵感知与鲁棒PCA，展现出实际应用价值。
• 双阈值算子能有效平衡低秩与稀疏恢复，且无需事先知晓稀疏度水平。