[论文解读] Accelerated and Inexact Soft-Impute for Large-Scale Matrix and Tensor Completion

Quanming Yao, James T. Kwok|arXiv (Cornell University)|Mar 16, 2017

Sparse and Compressive Sensing Techniques参考文献 54被引用 4

一句话总结

本文提出了一种加速且不精确的 Soft-Impute 算法，用于大规模矩阵与张量补全，通过保持 '稀疏加低秩' 结构以实现高效的 SVD 计算。通过结合 Nesterov 风格的加速与基于幂方法的近似奇异值阈值化方案，该方法在显著降低每轮迭代时间复杂度的同时，实现了 O(1/T²) 的收敛速率，在合成数据与真实世界数据集上均优于当前最先进方法，展现出更快的速度与更高的恢复精度。

ABSTRACT

Matrix and tensor completion aim to recover a low-rank matrix / tensor from limited observations and have been commonly used in applications such as recommender systems and multi-relational data mining. A state-of-the-art matrix completion algorithm is Soft-Impute, which exploits the special "sparse plus low-rank" structure of the matrix iterates to allow efficient SVD in each iteration. Though Soft-Impute is a proximal algorithm, it is generally believed that acceleration destroys the special structure and is thus not useful. In this paper, we show that Soft-Impute can indeed be accelerated without comprising this structure. To further reduce the iteration time complexity, we propose an approximate singular value thresholding scheme based on the power method. Theoretical analysis shows that the proposed algorithm still enjoys the fast $O(1/T^2)$ convergence rate of accelerated proximal algorithms. We further extend the proposed algorithm to tensor completion with the scaled latent nuclear norm regularizer. We show that a similar "sparse plus low-rank" structure also exists, leading to low iteration complexity and fast $O(1/T^2)$ convergence rate. Extensive experiments demonstrate that the proposed algorithm is much faster than Soft-Impute and other state-of-the-art matrix and tensor completion algorithms.

研究动机与目标

• 为克服现有 Soft-Impute 与加速近端算法的计算瓶颈，通过在加速过程中保持 '稀疏加低秩' 结构，实现高效 SVD 计算。
• 通过用基于幂方法的近似奇异值阈值化方案替代精确 SVD，降低矩阵与张量补全中的每轮迭代时间复杂度。
• 通过引入缩放潜在核范数正则化器，将加速 Soft-Impute 框架扩展至张量补全，保持低迭代成本与快速收敛特性。
• 验证非凸低秩正则化器（如截断核范数与 log-sum-penalty）在提升经验性能方面相较于凸核范数正则化的优越性。
• 在大规模真实世界数据集上实证验证所提算法，证明其在速度与精度方面均优于当前最先进方法。

提出的方法

• 本文提出一种加速 Soft-Impute 算法，保持矩阵迭代过程中的 '稀疏加低秩' 结构，从而在加速过程中仍能实现高效的 SVD 计算。
• 提出一种基于幂方法的近似奇异值阈值化（SVT）方案，用于计算主导奇异值与奇异向量，相比使用 PROPACK 的精确 SVD，显著降低了每轮迭代的计算成本。
• 理论分析证明，尽管使用了不精确的 SVT，该算法仍保持了加速近端方法的 O(1/T²) 收敛速率。
• 通过利用缩放潜在核范数正则化器，将该方法扩展至张量补全，该正则化器在张量展开中保持了类似的 '稀疏加低秩' 结构。
• 进一步将框架推广至非凸低秩正则化器（如截断核范数与 log-sum-penalty），实验证明其在经验性能上优于凸核范数正则化。
• 扩展后处理流程以支持任意光滑凸损失函数，增强了算法在多样化补全任务中的灵活性与适用性。

实验结果

研究问题

• RQ1 Soft-Impute 算法能否在不损失每轮迭代中支持高效 SVD 计算的 '稀疏加低秩' 结构的前提下实现加速？
• RQ2 基于幂方法的近似奇异值阈值化方案能否在降低每轮迭代时间复杂度的同时，维持 O(1/T²) 的收敛速率？
• RQ3 当使用缩放潜在核范数正则化器扩展至张量补全时，所提出的加速且不精确的 Soft-Impute 方法是否仍能保持快速收敛与低迭代成本？
• RQ4 非凸低秩正则化器（如截断核范数与 log-sum-penalty）能否有效集成至加速 Soft-Impute 框架中，从而在性能上超越凸核范数正则化？
• RQ5 在大规模真实世界数据集上，所提算法与当前最先进矩阵与张量补全方法相比，在速度与精度方面表现如何？

主要发现

• 所提出的加速且不精确的 Soft-Impute 算法即使使用基于幂方法的近似 SVD，仍实现了 O(1/T²) 的收敛速率，保持了理论收敛保证。
• 在 YouTube 数据集子集上，AIS-Impute 实现了 0.616 ± 0.029 的 RMSE，模式秩为 33, 33, 0，优于 GeomCG（0.672 ± 0.050）与 TMac（0.786 ± 0.027），在准确率与速度上均表现更优。
• 在完整 YouTube 数据集上，AIS-Impute 实现了 0.369 ± 0.006 的 RMSE，模式秩为 70, 70, 0，显著优于 GeomCG（0.388 ± 0.001）与 TMac（0.611 ± 0.007），恢复精度更高。
• 该算法在大规模数据上展现出卓越的运行速度，CPU 时间对比显示其优于 ADMM(overlap) 与 FaLRTC，后者在全规模数据集上过慢而难以应用。
• 使用非凸正则化器（如截断核范数与 log-sum-penalty）带来了优于凸核范数的实证性能，证实其在低秩逼近中的优势。
• 通过缩放潜在核范数正则化器扩展至张量补全，成功保持了 '稀疏加低秩' 结构，实现了高效的计算与张量设置下的快速 O(1/T²) 收敛。