[论文解读] Fast Low-Rank Matrix Learning with Nonconvex Regularization

Quanming Yao, James T. Kwok+1 more|arXiv (Cornell University)|Dec 3, 2015

Sparse and Compressive Sensing Techniques参考文献 37被引用 17

一句话总结

本文提出 FaNCL，一种用于非凸低秩矩阵学习的快速算法，通过利用奇异值阈值化和幂方法高效计算降维子空间上的近端算子，加速了近端梯度方法。该方法在显著提升速度（比最先进求解器快逾10倍）的同时，提高了恢复精度并生成了比核范数正则化更低秩的解。

ABSTRACT

Low-rank modeling has a lot of important applications in machine learning, computer vision and social network analysis. While the matrix rank is often approximated by the convex nuclear norm, the use of nonconvex low-rank regularizers has demonstrated better recovery performance. However, the resultant optimization problem is much more challenging. A very recent state-of-the-art is based on the proximal gradient algorithm. However, it requires an expensive full SVD in each proximal step. In this paper, we show that for many commonly-used nonconvex low-rank regularizers, a cutoff can be derived to automatically threshold the singular values obtained from the proximal operator. This allows the use of power method to approximate the SVD efficiently. Besides, the proximal operator can be reduced to that of a much smaller matrix projected onto this leading subspace. Convergence, with a rate of O(1/T) where T is the number of iterations, can be guaranteed. Extensive experiments are performed on matrix completion and robust principal component analysis. The proposed method achieves significant speedup over the state-of-the-art. Moreover, the matrix solution obtained is more accurate and has a lower rank than that of the traditional nuclear norm regularizer.

研究动机与目标

• 解决在非凸低秩矩阵优化的近端梯度方法中，全奇异值分解（SVD）带来的高计算成本问题。
• 与凸核范数正则化相比，提升恢复精度并获得更低秩的解。
• 开发一种高效算法，通过利用常用非凸正则化器中的结构，避免昂贵的全SVD计算。
• 利用矩阵补全中的“稀疏加低秩”结构，进一步加速计算。
• 确保以O(1/T)的收敛速率收敛至临界点。

提出的方法

• 提出一种新颖的阈值规则，可自动在近端算子中剪除常见非凸正则化器（如截断ℓ1、LSP、TNN、SCAD、MCP）中的小奇异值。
• 使用幂方法高效计算主导奇异子空间，避免全SVD计算。
• 将近端算子计算简化为投影至主导子空间的较小矩阵，显著降低计算成本。
• 利用矩阵补全中“稀疏加低秩”结构，通过利用当前迭代值与观测条目之间差异的稀疏性，进一步加速更新。
• 采用带回溯线搜索的近端梯度下降法，确保以O(1/T)的速率收敛至临界点。
• 将这些组件整合为统一算法FaNCL，在保持理论保证的同时实现高效率。

实验结果

研究问题

• RQ1 我们能否通过为奇异值识别一种阈值规则，避免在非凸低秩矩阵学习的近端梯度方法中进行全SVD计算？
• RQ2 幂方法能否被有效用于高效近似主导奇异子空间，从而加速近端算子的计算？
• RQ3 将近端算子计算缩减为更小的投影矩阵，是否能显著提升运行时间而不损失精度？
• RQ4 能否利用矩阵补全中的“稀疏加低秩”结构，进一步加速算法？
• RQ5 所提方法是否在显著更快的同时，实现比核范数正则化更高的恢复精度和更低的秩？

主要发现

• 在视频背景去除任务中，FaNCL相比最先进求解器GPG实现超过10倍加速，Bootstrap视频的运行时间分别为68.3秒与1571.2秒。
• 在矩阵补全任务中，FaNCL将capped-ℓ1正则化的CPU时间从GPG的1009.3秒降低至60.4秒，同时实现100%的稀疏支持恢复。
• 在所有非凸正则化器中，FaNCL的归一化均方误差（NMSE）均低于核范数正则化，NMSE值分别为LSP的0.0029和TNN的0.0033，而核范数正则化为0.0041。
• 在视频去噪任务中，FaNCL在Bootstrap数据上达到25.08 dB的PSNR，高于核范数正则化的23.01 dB，且计算时间实现10倍加速。
• 该算法以O(1/T)的收敛速率收敛至临界点，与近端梯度方法的理论保证一致。
• 所提方法产生的解比核范数正则化具有更低秩，证明了其在低秩逼近质量上的改进。