[论文解读] A Block Lanczos with Warm Start Technique for Accelerating Nuclear Norm Minimization Algorithms

Zhouchen Lin, Siming Wei|arXiv (Cornell University)|Dec 2, 2010

Sparse and Compressive Sensing Techniques参考文献 26被引用 14

一句话总结

本文提出了一种带热启动的分块Lanczos方法（BLWS），通过重用前一迭代的主奇异子空间来初始化部分SVD计算的分块Lanczos方法，从而加速核范数最小化（NNM）算法。通过限制Lanczos步数并利用热启动，BLWS降低了SVD计算成本，在鲁棒PCA和矩阵补全任务中相比标准方法实现了2–3倍的加速，且未损失精度。

ABSTRACT

Recent years have witnessed the popularity of using rank minimization as a regularizer for various signal processing and machine learning problems. As rank minimization problems are often converted to nuclear norm minimization (NNM) problems, they have to be solved iteratively and each iteration requires computing a singular value decomposition (SVD). Therefore, their solution suffers from the high computation cost of multiple SVDs. To relieve this issue, we propose using the block Lanczos method to compute the partial SVDs, where the principal singular subspaces obtained in the previous iteration are used to start the block Lanczos procedure. To avoid the expensive reorthogonalization in the Lanczos procedure, the block Lanczos procedure is performed for only a few steps. Our block Lanczos with warm start (BLWS) technique can be adopted by different algorithms that solve NNM problems. We present numerical results on applying BLWS to Robust PCA and Matrix Completion problems. Experimental results show that our BLWS technique usually accelerates its host algorithm by at least two to three times.

研究动机与目标

• 降低核范数最小化（NNM）算法中重复奇异值分解（SVD）带来的高计算成本。
• 通过提升部分SVD计算效率，加速基于NNM的算法，如鲁棒PCA和矩阵补全。
• 通过重用先前步骤的奇异子空间，利用连续迭代之间的时序相关性作为初始猜测。
• 开发一种通用加速技术，适用于多种NNM求解器，且无需修改其核心逻辑。

提出的方法

• 应用分块Lanczos方法计算部分SVD，仅关注高于阈值的奇异值。
• 将前一迭代的主奇异子空间用作当前分块Lanczos过程的热启动。
• 限制Lanczos步数，以避免昂贵的重新正交化操作，同时保持精度。
• 将BLWS集成到现有的NNM求解器中，如鲁棒PCA的ADM和矩阵补全的SVT。
• 在每次迭代后，使用奇异值软阈值化（收缩）计算解。
• 在减少运行时间的同时，保持与基线方法相同的收敛行为和解精度。

实验结果

研究问题

• RQ1 重用前一迭代的奇异子空间是否能显著降低NNM算法中部分SVD计算的成本？
• RQ2 带热启动的分块Lanczos方法在加速鲁棒PCA和矩阵补全方面效果如何？
• RQ3 BLWS技术是否在实现显著加速的同时保持了解的精度？
• RQ4 限制Lanczos步数对收敛性和数值稳定性有何影响？

主要发现

• BLWS-ADM在鲁棒PCA上相比标准ADM实现了2.0倍至3.0倍的加速，例如当m=3000时，运行时间从477.13秒减少至149.19秒。
• BLWS-SVT使矩阵补全的运行时间减少了2.5倍至3.0倍，例如当m=10000且秩为100时，运行时间从1783.26秒减少至1175.91秒。
• 迭代次数几乎保持不变，表明BLWS未影响收敛行为。
• 低秩矩阵恢复的相对误差保持在1.75e-4以内，表明解的精度未受损。
• 该技术在不同矩阵规模和问题设置下均实现了稳定的加速效果，包括不同秩和采样率的情况。