[论文解读] Global Convergence of Sub-gradient Method for Robust Matrix Recovery: Small Initialization, Noisy Measurements, and Over-parameterization

Jianhao Ma, Salar Fattahi|arXiv (Cornell University)|Feb 17, 2022

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文在存在噪声、测量数据被污染以及模型过参数化的条件下，建立了子梯度法（SubGM）在鲁棒低秩矩阵恢复中的全局收敛性。证明了小初始化可消除过参数化和噪声的负面影响，使SubGM能够以指数速度快速收敛至真实低秩解——即使在任意大且密集的噪声下亦成立——其关键在于提出了一种类符号限制等距性质（Sign-RIP）。

ABSTRACT

In this work, we study the performance of sub-gradient method (SubGM) on a natural nonconvex and nonsmooth formulation of low-rank matrix recovery with $\ell_1$-loss, where the goal is to recover a low-rank matrix from a limited number of measurements, a subset of which may be grossly corrupted with noise. We study a scenario where the rank of the true solution is unknown and over-estimated instead. The over-estimation of the rank gives rise to an over-parameterized model in which there are more degrees of freedom than needed. Such over-parameterization may lead to overfitting, or adversely affect the performance of the algorithm. We prove that a simple SubGM with small initialization is agnostic to both over-parameterization and noise in the measurements. In particular, we show that small initialization nullifies the effect of over-parameterization on the performance of SubGM, leading to an exponential improvement in its convergence rate. Moreover, we provide the first unifying framework for analyzing the behavior of SubGM under both outlier and Gaussian noise models, showing that SubGM converges to the true solution, even under arbitrarily large and arbitrarily dense noise values, and--perhaps surprisingly--even if the globally optimal solutions do not correspond to the ground truth. At the core of our results is a robust variant of restricted isometry property, called Sign-RIP, which controls the deviation of the sub-differential of the $\ell_1$-loss from that of an ideal, expected loss. As a byproduct of our results, we consider a subclass of robust low-rank matrix recovery with Gaussian measurements, and show that the number of required samples to guarantee the global convergence of SubGM is independent of the over-parameterized rank.

研究动机与目标

• 分析带ℓ₁损失的非凸、非光滑低秩矩阵恢复问题中子梯度法（SubGM）的全局收敛性。
• 解决过参数化带来的挑战，即搜索秩r′超过真实秩r，这通常会降低收敛速度并引发过拟合。
• 研究噪声和严重污染测量对SubGM性能的影响，尤其关注任意噪声水平下的表现。
• 统一分析SubGM在异常值与高斯噪声模型下的表现，证明其对极端噪声具有鲁棒性。
• 证明小初始化可使SubGM对过参数化和噪声不敏感，从而实现接近最优的收敛速率。

提出的方法

• 提出SubGM解轨迹的信号-残差分解，将低秩（信号）与残差分量分离。
• 引入一种新颖的鲁棒限制等距性质变体，称为Sign-RIP，用于控制次微分对理想损失行为的偏离。
• 采用三阶段分析：初始瞬态阶段、中间阶段残差衰减，以及最终的指数收敛阶段。
• 利用信号、交叉项与残差项的一步动态（通过命题7–9）来界定残差范数与信号误差的演化。
• 建立小初始化可确保残差项有界并持续衰减，从而使得信号项能实现指数收敛。
• 利用小初始化使子梯度步长保持较小，且残差分量可忽略，从而有效模拟低秩模型的行为。

实验结果

研究问题

• RQ1 SubGM能否在任意噪声水平下（包括严重污染）实现鲁棒低秩矩阵恢复的全局收敛？
• RQ2 小初始化是否能消除过参数化对SubGM收敛性的负面影响，即使当r′ ≫ r时？
• RQ3 当全局或局部最小值不对应于真实矩阵时，SubGM是否仍能收敛至真实解？
• RQ4 在高斯测量下，SubGM的收敛速率是否与过参数化秩r′无关？
• RQ5 所提出的Sign-RIP条件如何控制非光滑、非凸设置下次微分的行为？

主要发现

• 在小初始化下，SubGM无论是否过参数化，均能以指数速率全局收敛至真实低秩解。
• 小初始化消除了过参数化的影响，使SubGM的表现等价于r′ = r的情形，从而实现指数收敛速度的显著提升。
• 即使在任意大且密集的噪声下，SubGM仍能收敛至真实解，包括全局最优解不匹配真实矩阵的情形。
• 在高斯测量模型中，SubGM实现全局收敛所需的样本数量与过参数化秩r′无关。
• 所提出的Sign-RIP条件确保ℓ₁损失的次微分保持接近理想损失的次微分，从而支持收敛性分析。
• 在信号-残差分解中，残差项始终保持有界并随时间衰减，而信号项则以指数速度快速收敛至真实解。