[论文解读] Global convergence of the subgradient method for robust signal recovery

Zesheng Cai, Lexiao Lai+1 more|arXiv (Cornell University)|Jan 15, 2026

Sparse and Compressive Sensing Techniques被引用 0

一句话总结

论文为应用于因子化鲁棒恢复问题的子梯度方法建立了全球收敛框架（鲁棒PCA、鲁棒相位获取、鲁棒矩阵感知），在有界的连续时间子梯度轨迹假设下，并且在较小步长下，对秩为1的对称鲁棒PCA几乎处处全球收敛。

ABSTRACT

We study the subgradient method for factorized robust signal recovery problems, including robust PCA, robust phase retrieval, and robust matrix sensing. The resulting objectives are nonsmooth and nonconvex, and can have unbounded sublevel sets, so standard analyses based on descent and coercivity do not apply. For locally Lipschitz semialgebraic objectives, we develop a convergence framework that replaces these requirements with a boundedness condition on continuous-time subgradient trajectories. Under this condition and sufficiently small step sizes of order $1/k$, we show that iterates of the subgradient method remain bounded and the full sequence converges to a critical point. We then verify the required boundedness property for the three robust objectives by adapting existing trajectory analyses, assuming a mild nondegeneracy condition in the matrix sensing case. Finally, for rank-one symmetric robust PCA, we prove that for almost every initialization, the method cannot converge to spurious critical points; consequently, under the same step-size regime, it converges to a global minimum.

研究动机与目标

• 研究包括鲁棒PCA、鲁棒相位获取、鲁棒矩阵感知在内的因子化鲁棒恢复目标的子梯度方法的全局收敛性。
• 在局部克里斯托夫-里斯利奇（locally Lipschitz）半代数目标具有不有界子水平集的条件下，给出有界连续时间子梯度轨迹假设的收敛框架。
• 证明在阶次为1/k的步长下，初始化在有界集合中的子梯度序列保持有界并收敛到一个临界点。
• 通过轨迹分析与矩阵感知中的温和非退化条件，验证三类鲁棒目标下的有界轨迹假设。
• 建立对于秩为1的对称鲁棒PCA，在数据向量中没有零元素的情况下，几乎每次初始化都会收敛到全局极小值，避免伪临界点。

提出的方法

• 用nonsmooth、nonconvex、因子化目标来建模鲁棒恢复问题，采用l1损失以提高鲁棒性。
• 采用Clarke次微分来定义子梯度更新。
• 引入有界连续时间子梯度轨迹假设（假设2.6），并利用半代数结构获得轨迹长度界。
• 在步长alpha_k = alpha/(k+1)下推导子梯度序列的直径界（定理2.8）。
• 推导完整子梯度序列向临界点的收敛性（推论2.9）。
• 对于秩为1的对称鲁棒PCA，分析伪临界点，在小的不可和步长下几乎处处避免（定理3.1）。

实验结果

研究问题

• RQ1 因子化鲁棒恢复目标的子梯度序列是否在阶次为1/k的步长下能从任意初始化收敛到临界点？
• RQ2 在什么条件下这些序列能够避免收敛到伪临界点，特别是在秩为1的对称鲁棒PCA中？
• RQ3 有界连续时间子梯度轨迹是否能够在不需要强制性/全局Lipschitz条件的情况下保证全局收敛？
• RQ4 矩阵感知中的非退化条件如何影响轨迹的有界性与收敛性？
• RQ5 秩为1的对称鲁棒PCA的海量景观是什么，几乎所有初始化是否能保证收敛到全局极小值？

主要发现

• 为具有不有界子水平集的局部Lipschitz半代数目标，在有界子梯度轨迹下建立了通用的收敛框架。
• 在步长alpha_k = alpha/(k+1)下，初始化在有界集合中的子梯度序列直径有统一上界（定理2.8）。
• 当alpha足够小时，完整的子梯度序列收敛到一个临界点（推论2.9）。
• 鲁棒PCA、鲁棒相位获取、鲁棒矩阵感知的目标满足有界轨迹条件，从而验证了收敛框架（命题2.3–2.5）。
• 对于数据向量中没有零元素的秩为1的对称鲁棒PCA，几乎所有初始化在步长较小的情况下收敛到全局最小值，避免伪临界点（定理3.1和推论3.3）。