[论文解读] Implementing Randomized Matrix Algorithms in Parallel and Distributed Environments

Jiyan Yang, Xiangrui Meng+1 more|arXiv (Cornell University)|Feb 10, 2015

Stochastic Gradient Optimization Techniques参考文献 94被引用 11

一句话总结

本文提出了一种通信优化框架，用于在大规模并行和分布式系统中实现随机化矩阵算法——特别是针对 ℓ₁ 和 ℓ₂ 回归问题。通过利用随机投影和采样来构建预条件化或子采样问题，该方法在保持强相对误差保证的同时，实现了接近输入稀疏性的运行时间，显著降低了在 I/O 和网络延迟主导计算的分布式环境中通信开销。

ABSTRACT

In this era of large-scale data, distributed systems built on top of clusters of commodity hardware provide cheap and reliable storage and scalable processing of massive data. Here, we review recent work on developing and implementing randomized matrix algorithms in large-scale parallel and distributed environments. Randomized algorithms for matrix problems have received a great deal of attention in recent years, thus far typically either in theory or in machine learning applications or with implementations on a single machine. Our main focus is on the underlying theory and practical implementation of random projection and random sampling algorithms for very large very overdetermined (i.e., overconstrained) $\ell_1$ and $\ell_2$ regression problems. Randomization can be used in one of two related ways: either to construct sub-sampled problems that can be solved, exactly or approximately, with traditional numerical methods; or to construct preconditioned versions of the original full problem that are easier to solve with traditional iterative algorithms. Theoretical results demonstrate that in near input-sparsity time and with only a few passes through the data one can obtain very strong relative-error approximate solutions, with high probability. Empirical results highlight the importance of various trade-offs (e.g., between the time to construct an embedding and the conditioning quality of the embedding, between the relative importance of computation versus communication, etc.) and demonstrate that $\ell_1$ and $\ell_2$ regression problems can be solved to low, medium, or high precision in existing distributed systems on up to terabyte-sized data.

研究动机与目标

• 为应对在通信成本超过计算成本的分布式环境中，处理 TB 级数据集时矩阵算法（尤其是回归和低秩逼近）可扩展性的日益增长的挑战。
• 将传统应用于单机内存环境的随机数值线性代数（RandNLA）技术，扩展至大规模并行和分布式架构。
• 证明随机算法可在最小化通信开销的同时，通过高效的压缩和预条件化，实现高精度解并具备强理论保证。
• 在真实分布式系统中，评估嵌入构造时间、条件质量与通信与计算之间平衡的权衡。

提出的方法

• 使用结构化矩阵（如柯西、高斯）进行随机投影，或采用基于数据重要性的自适应采样，对大型超定矩阵生成低维压缩表示。
• 将压缩结果应用于精确求解子问题，或为 LSQR 等迭代求解器构建预条件器，从而在分布式环境中提升收敛速度。
• 采用通信避免型迭代方法，如切比雪夫半迭代法，以及在 MapReduce 中的多初始查询机制，以减少 I/O 和网络开销。
• 在 LSRN 和 Databricks 等系统上，对大规模数据实现并评估多种嵌入策略（包括 PROJ CW、PROJ GAUSSIAN 和 SAMP APPR）。
• 使用目标函数值和解向量的相对误差度量，评估不同嵌入维度和数据规模下的近似质量。
• 在最大规模达 10⁷ × 1000 的矩阵上进行实验评估，条件数最高达 5，测量在多次试验中收敛速度、精度和运行时间。

实验结果

研究问题

• RQ1 能否将专为单机内存环境设计的随机化矩阵算法有效适配至通信成本高昂的大规模分布式系统？
• RQ2 在分布式回归中，不同随机投影与采样策略在嵌入质量、构造时间与通信效率方面的表现如何比较？
• RQ3 通过额外计算（如更昂贵的投影）在多大程度上可改善条件性并减少分布式求解器中的通信开销？
• RQ4 在分布式 ℓ₂ 和 ℓ₁ 回归中，解的精度、嵌入维度与运行时间之间的权衡关系如何？
• RQ5 如在 MapReduce 中采用多初始查询或切比雪夫迭代等通信避免策略，是否能显著优于标准迭代方法？

主要发现

• 通过结构化随机投影（如柯西或高斯）进行随机预条件化，可显著降低大型病态矩阵的条件数，从而加速分布式系统中 LSQR 等迭代求解器的收敛速度。
• 在 MapReduce 上采用 MIE（多初始估计器）框架中的多初始查询机制，显著改善了初始搜索区域，减少了达到收敛所需的迭代次数。
• 对于大小为 1e7 × 1000、条件数为 5 的矩阵，所提方法仅通过少量数据遍历，即实现了解向量相对误差低于 1%、目标函数误差低于 0.5%。
• 在基于 MPI 的系统中，切比雪夫半迭代法在通信效率方面优于 LSQR，表明通信避免设计可超越基于 FLOPS 的优化。
• 较大的嵌入维度（如柯西投影的 3e5）可带来更优的条件性和更快的收敛速度，尽管会增加嵌入构造时间。
• 在 TB 级数据上的实验结果表明，通过仅使用接近输入稀疏性的运行时间与少量数据遍历，ℓ₁ 和 ℓ₂ 回归问题可被求解至低、中或高精度，并具备强理论保证。