[论文解读] Divide-and-Conquer Matrix Factorization

Lester Mackey, Ameet Talwalkar+1 more|arXiv (Cornell University)|Jul 5, 2011

Sparse and Compressive Sensing Techniques参考文献 34被引用 18

一句话总结

本文提出了一种名为 Divide-Factor-Combine (DFC) 的并行分治框架，用于大规模噪声矩阵分解。该方法将矩阵划分为子问题，并使用任意基础分解算法并行求解，随后通过随机化矩阵逼近技术合并结果，实现了接近线性甚至超线性的加速，同时保持了与基础算法相当的高概率恢复保证。

ABSTRACT

This work introduces Divide-Factor-Combine (DFC), a parallel divide-and-conquer framework for noisy matrix factorization. DFC divides a large-scale matrix factorization task into smaller subproblems, solves each subproblem in parallel using an arbitrary base matrix factorization algorithm, and combines the sub-problem solutions using techniques from randomized matrix approximation. Our experiments with collaborative filtering, video background modeling, and simulated data demonstrate the near-linear to super-linear speed-ups attainable with this approach. Moreover, our analysis shows that DFC enjoys high-probability recovery guarantees comparable to those of its base algorithm.

研究动机与目标

• 为解决协同过滤和视频背景建模等应用中大规模矩阵分解的计算瓶颈问题。
• 在噪声条件下实现矩阵分解的高效并行化，同时不牺牲解的质量。
• 开发一种在扩展至大规模矩阵时仍保持强理论恢复保证的框架。
• 利用随机化矩阵逼近技术有效组合子问题解，以实现全局一致性。

提出的方法

• 将矩阵划分为较小的子矩阵，以支持并行处理。
• 使用任意基础矩阵分解算法独立分解每个子矩阵。
• 通过随机化矩阵逼近技术组合子问题解，以重建全局低秩近似。
• 该框架利用随机化矩阵逼近的理论结果，确保组合解的稳定性和准确性。
• 该方法设计为模块化，可与任何现有矩阵分解算法作为基础求解器无缝集成。

实验结果

研究问题

• RQ1 在噪声条件下，分治策略是否能在大规模矩阵分解中实现接近线性或超线性的加速？
• RQ2 子问题解的组合是否能保持基础分解算法的高概率恢复保证？
• RQ3 随机化矩阵逼近技术在组合子解时，是否能有效避免显著的误差累积？
• RQ4 该框架在协同过滤和视频背景建模等多样化应用中的可扩展性如何？

主要发现

• DFC 在协同过滤、视频背景建模和模拟数据工作负载上实现了接近线性至超线性的加速。
• 该框架保持了与基础矩阵分解算法相当的高概率恢复保证。
• 随机化矩阵逼近技术的使用，使得在多种数据类型下能够准确且稳定地组合子解。
• 实验结果表明，该框架在多个真实世界和合成数据集上均表现出一致的性能提升。