[论文解读] Large-Scale Low-Rank Matrix Learning with Nonconvex Regularizers

Quanming Yao, James T. Kwok+2 more|arXiv (Cornell University)|Aug 1, 2017

Sparse and Compressive Sensing Techniques参考文献 56被引用 8

一句话总结

本文提出 FaNCL，一种用于大规模低秩矩阵学习的快速近端算法，采用非凸正则化。通过在近端算子中利用阈值化并借助幂法近似，FaNCL 实现了在不精确步长下的 O(1/T) 收敛率，其加速版本（FaNCL-acc）与并行化设计实现了近乎线性的加速，显著优于矩阵补全与 RPCA 任务中的最先进方法。

ABSTRACT

Low-rank modeling has many important applications in computer vision and machine learning. While the matrix rank is often approximated by the convex nuclear norm, the use of nonconvex low-rank regularizers has demonstrated better empirical performance. However, the resulting optimization problem is much more challenging. Recent state-of-the-art requires an expensive full SVD in each iteration. In this paper, we show that for many commonly-used nonconvex low-rank regularizers, a cutoff can be derived to automatically threshold the singular values obtained from the proximal operator. This allows such operator being efficiently approximated by power method. Based on it, we develop a proximal gradient algorithm (and its accelerated variant) with inexact proximal splitting and prove that a convergence rate of O(1/T) where T is the number of iterations is guaranteed. Furthermore, we show the proposed algorithm can be well parallelized, which achieves nearly linear speedup w.r.t the number of threads. Extensive experiments are performed on matrix completion and robust principal component analysis, which shows a significant speedup over the state-of-the-art. Moreover, the matrix solution obtained is more accurate and has a lower rank than that of the nuclear norm regularizer.

研究动机与目标

• 解决现有非凸低秩优化方法在每次迭代中需要昂贵的全奇异值分解（SVD）所导致的计算低效问题。
• 通过实现高效的近端更新，克服在高维矩阵上求解非凸低秩问题的挑战。
• 开发一种快速、可扩展的算法，适用于矩阵补全与鲁棒 PCA 等大规模应用场景。
• 实现算法的并行化，以利用多核架构，并在增加线程数时实现近乎线性的加速。

提出的方法

• 提出一种新型近端算法 FaNCL，利用近端算子中对奇异值的自动阈值化，适用于常见非凸正则化（如截断 ℓ1、LSP、TNN、SCAD、MCP）。
• 通过在矩阵的主导子空间上使用幂法近似近端算子，降低计算成本，仅在较小的低秩近似上操作。
• 引入误差受控的不精确近端步长，确保在迭代点之间平方距离上的 O(1/T) 收敛率。
• 开发 FaNCL-acc 加速版本，采用类似 Nesterov 的动量策略以提升收敛速度。
• 设计 FaNCL 的并行版本，通过将矩阵分块并在多个线程上处理子矩阵，实现近乎线性的加速。
• 通过利用稀疏加低秩结构，将算法适配于矩阵补全任务；并通过引入双参数块结构，扩展至 RPCA 任务。

实验结果

研究问题

• RQ1 是否可以在不进行全 SVD 计算的情况下，高效近似非凸低秩正则化的近端算子？
• RQ2 在误差受控的不精确近端步长下，是否仍能保证非凸低秩优化中的收敛性？
• RQ3 该算法是否能有效并行化，使性能随线程数增加而近似线性提升？
• RQ4 在矩阵补全与 RPCA 任务中，所提方法是否在速度与恢复精度方面优于最先进算法？
• RQ5 在大规模场景下，使用非凸正则化是否能获得优于凸核范数的恢复性能？

主要发现

• 即使在不精确近端步长下，FaNCL 仍能实现迭代点间平方距离的 O(1/T) 收敛率。
• FaNCL-acc 的收敛速度显著快于最先进方法 GPG，在 12 核的 Netflix 数据集上，CPU 时间从 203 秒降低至 49 秒。
• 并行化 FaNCL 实现了近乎线性的加速，由于缓存效率提升与负载均衡优化，Yahoo 数据集上的加速比超过 1。
• 在视频矩阵补全任务中，FaNCL-acc 以更短时间（148 秒 vs 4709 秒）更快达到更高的 PSNR（25.25 ± 0.06），优于 GPG（25.26 ± 0.04）。
• 在所有视频数据集上，非凸正则化（如 LSP、TNN）的 PSNR 均持续优于凸核范数，证实其在实际恢复性能上的优越性。
• 通过幂法对主导子空间的近似，实现了高效计算，减小了有效矩阵规模，并避免了每次迭代中的全 SVD 计算。