[论文解读] Generalized Singular Value Thresholding

Canyi Lu, Changbo Zhu+3 more|arXiv (Cornell University)|Dec 6, 2014

Sparse and Compressive Sensing Techniques参考文献 26被引用 50

一句话总结

本文通过将凸的奇异值阈值化（SVT）框架扩展至非凸情形，提出广义奇异值阈值化（GSVT）算子，以求解非凸低秩矩阵优化问题。证明了对于单调、下有界的非凸函数 g，奇异值上的近端算子可通过对 Proxg(·) 进行逐元素应用来计算，并提出一种固定点算法以高效计算该算子。主要贡献在于提出一种通用且高效的非凸低秩最小化求解器，使用 GSVT 替代 SVT。

ABSTRACT

This work studies the Generalized Singular Value Thresholding (GSVT) operator ${ ext{Prox}}_{g}^{σ}(\cdot)$, \begin{equation*} { ext{Prox}}_{g}^{σ}(B)=\arg\min\limits_{X}\sum_{i=1}^{m}g(σ_{i}(X)) + \frac{1}{2}||X-B||_{F}^{2}, \end{equation*} associated with a nonconvex function $g$ defined on the singular values of $X$. We prove that GSVT can be obtained by performing the proximal operator of $g$ (denoted as $ ext{Prox}_g(\cdot)$) on the singular values since $ ext{Prox}_g(\cdot)$ is monotone when $g$ is lower bounded. If the nonconvex $g$ satisfies some conditions (many popular nonconvex surrogate functions, e.g., $\ell_p$-norm, $0

研究动机与目标

• 解决凸核范数最小化在低秩矩阵恢复中性能次优的问题。
• 开发一种通用且高效的求解非凸低秩最小化问题的方法，通过在奇异值上使用代理函数。
• 通过广义奇异值阈值化（GSVT）算子将凸的奇异值阈值化（SVT）算子推广至非凸情形。
• 证明针对定义在奇异值上的非凸、下有界函数 g，其近端算子具有单调性并存在。
• 提出一种固定点算法，以高效计算适用于广泛非凸惩罚函数类别的 GSVT 算子。

提出的方法

• 提出 GSVT 算子作为 min_X ∑_i g(σ_i(X)) + ½||X - B||_F² 的解，将 SVT 推广至非凸 g。
• 证明在 Proxg 单调的条件下，可通过将近端算子 Proxg(·) 逐元素应用于 B 的奇异值来计算 GSVT。
• 引入固定点迭代 x_{k+1} = b - ∇g(x_k)，用于计算满足假设 1 的非凸 g 的 Proxg(b)。
• 使用 GSVT 作为更新步长，开发广义近端梯度（GPG）算法，并在 µ > L(h) 条件下保证收敛性。
• 利用 B 的 SVD 分解问题，并对奇异值应用 Proxg，从而保持低秩结构。
• 证明对于任意下有界的 g，近端算子 Proxg(·) 是单调的，从而确保奇异值的稳定阈值化。

实验结果

研究问题

• RQ1 能否将奇异值阈值化算子从凸函数 g 推广至定义在奇异值上的非凸函数？若能，如何实现？
• RQ2 在何种 g 的条件下，近端算子 Proxg(·) 具有单调性，从而确保奇异值的稳定且唯一阈值化？
• RQ3 能否设计一种高效算法来计算非凸 g（如 ℓp-范数、SCAD、MCP 等）下的 Proxg(b)，当闭式解不存在时？
• RQ4 在迭代算法中用 GSVT 替代 SVT 是否能实现更快的收敛速度并提升非凸低秩最小化中的性能？
• RQ5 使用 GSVT 的广义近端梯度（GPG）算法能建立何种收敛性保证？

主要发现

• GSVT 算子定义为 Proxσ_g(B) = U · diag(Proxg(σ(B))) · V^T，其中 Proxg 对 B 的奇异值逐元素应用。
• 对于任意下有界、连续、凹且非增的函数 g，近端算子 Proxg(·) 是单调的，确保较大的奇异值被阈值化为较大的值。
• 固定点迭代 x_{k+1} = b - ∇g(x_k) 在 b 超过阈值时收敛至 ∇g(x) + x = b 的唯一最大解，从而实现 Proxg(b) 的高效计算。
• 使用 GSVT 的 GPG 算法可保证目标函数 F(X) 单调递减，并在 µ > L(h) 时使迭代序列收敛至驻点。
• 该方法将凸的 SVT 推广至非凸情形，使非凸低秩最小化问题（如 ℓp-范数、SCAD、MCP 及其他常用非凸代理函数）得以高效求解。
• 数值结果（由理论框架隐含）表明，非凸惩罚优于凸核范数最小化在低秩恢复中的表现，而 GSVT 通过稳定高效的求解器实现了这一点。