[论文解读] Fast and Faster: A Comparison of Two Streamed Matrix Decomposition Algorithms

Radim Řehůřek|arXiv (Cornell University)|Feb 28, 2011

Data Mining Algorithms and Applications被引用 4

一句话总结

本文比较了一种单遍分布式矩阵分解算法（P1）与一种双遍随机算法（P2），提出了一种新颖的混合算法（P12），结合了P2的速度与P1的单遍精度。在英文维基百科语料库上，P12在单台机器上耗时4小时20分钟完成分解，在4节点集群上仅需1小时41分钟，相较于P2在速度上表现更优，同时在经过过采样和幂迭代优化后仍保持了具有竞争力的精度。

ABSTRACT

With the explosion of the size of digital dataset, the limiting factor for decomposition algorithms is the \\emph{number of passes} over the input, as the input is often stored out-of-core or even off-site. Moreover, we're only interested in algorithms that operate in \\emph{constant memory} w.r.t. to the input size, so that arbitrarily large input can be processed. In this paper, we present a practical comparison of two such algorithms: a distributed method that operates in a single pass over the input vs. a streamed two-pass stochastic algorithm. The experiments track the effect of distributed computing, oversampling and memory trade-offs on the accuracy and performance of the two algorithms. To ensure meaningful results, we choose the input to be a real dataset, namely the whole of the English Wikipedia, in the application settings of Latent Semantic Analysis.

研究动机与目标

• 评估单遍与双遍流式矩阵分解算法在准确性、性能和可扩展性方面的权衡。
• 研究输入顺序、过采样和幂迭代在流式环境下的分解质量影响。
• 设计并实现一种混合算法（P12），结合双遍方法的速度与单遍分布式方法的内存效率和准确性。
• 评估分布式计算在真实大规模数据集（英文维基百科）上对算法性能与可扩展性的影响。

提出的方法

• 实现一种单遍分布式算法（P1），并行处理文档块，使用SVDLIBC对每个块进行内存内SVD计算，并将结果合并为全局分解。
• 将Halko等人（2009）提出的双遍随机算法（P2）改进为常量内存操作，通过流式处理观测值并逐步计算样本矩阵，避免完整的矩阵乘法。
• 开发一种混合算法（P12），用P2中更快的随机分解替代P1中的内存内SVD，保留单遍处理的同时提升速度。
• 在P2中引入过采样和幂迭代以提升精度，代价是增加遍历次数，并评估其对性能与收敛性的影响。
• 将算法应用于真实数据集——320万篇英文维基百科文档，用于潜在语义分析（LSA），采用TF-IDF向量化。
• 在不同块大小、输入顺序和集群配置（1–4台节点）下评估性能，测量实际运行时间与通过奇异值分析得出的分解精度。

实验结果

研究问题

• RQ1 在大规模真实世界数据集上，单遍分布式算法（P1）与双遍随机算法（P2）在相同条件下的准确性如何比较？
• RQ2 在缺乏随机化的情况下，输入流顺序对单遍算法分解质量的影响有多大，特别是在单遍处理中？
• RQ3 过采样和幂迭代在提升双遍随机算法（P2）精度方面的有效性如何？其性能代价是什么？
• RQ4 混合算法（P12）能否成功结合P2的速度与P1的单遍精度？其在分布式集群中的可扩展性如何？
• RQ5 块大小与集群规模对单遍算法（P1与P12）在分布式环境中的运行时间和精度有何影响？

主要发现

• 在单台2GHz机器上，混合算法P12耗时4小时20分钟完成分解，优于经优化的双遍P2算法（3小时6分钟），前提是使用了过采样和幂迭代。
• 在4节点集群上，P12算法仅用1小时41分钟即完成分解，表现出与计算节点数量的强线性可扩展性。
• 单遍P1算法对输入顺序极为敏感：按字母顺序排列的输入所得奇异值精度低于经打乱顺序的输入，表明存在子空间漂移问题。
• P2中的过采样和幂迭代显著提升了精度，但代价是运行时间增加，凸显了流式环境中精度与遍历效率之间的权衡。
• 双遍P2算法因多轮遍历导致I/O瓶颈，无法从分布式环境中获益，除非数据已预先分发，因此在联网或分布式环境中适用性较低。
• 混合P12算法在保持与P1相当的高精度的同时，性能优于P2，证明了将随机加速与分布式单遍鲁棒性相结合的可行性。