[论文解读] Communication-Efficient Distributed SVD via Local Power Iterations

Xiang Li, Shusen Wang+2 more|arXiv (Cornell University)|Feb 19, 2020

Matrix Theory and Algorithms参考文献 55被引用 6

一句话总结

该论文提出 LocalPower，一种通信高效的分布式 SVD 算法，通过在每轮通信中执行多次本地幂迭代来减少同步开销。通过使用正交普鲁斯特变换（OPT）或符号固定法对特征向量进行对齐，并采用递减的通信间隔策略，LocalPower 在理论上将通信复杂度降低了 $p$ 倍，并以更少的通信轮次收敛到高精度解。

ABSTRACT

We study distributed computing of the truncated singular value decomposition problem. We develop an algorithm that we call exttt{LocalPower} for improving communication efficiency. Specifically, we uniformly partition the dataset among $m$ nodes and alternate between multiple (precisely $p$) local power iterations and one global aggregation. In the aggregation, we propose to weight each local eigenvector matrix with orthogonal Procrustes transformation (OPT). As a practical surrogate of OPT, sign-fixing, which uses a diagonal matrix with $\pm 1$ entries as weights, has better computation complexity and stability in experiments. We theoretically show that under certain assumptions exttt{LocalPower} lowers the required number of communications by a factor of $p$ to reach a constant accuracy. We also show that the strategy of periodically decaying $p$ helps obtain high-precision solutions. We conduct experiments to demonstrate the effectiveness of exttt{LocalPower}.

研究动机与目标

• 解决在数据被划分到多个节点时分布式截断 SVD 的高通信成本问题。
• 通过减少同步频率，提高大规模 SVD 的可扩展性并缩短实际运行时间。
• 开发一种稳定且高效的算法，在通信减少的情况下仍能保持收敛性和准确性。
• 为在实际条件下通信复杂度的降低和收敛性保证提供理论依据。
• 通过实验验证本地更新、特征向量对齐技术以及自适应通信间隔策略的有效性。

提出的方法

• 该算法将数据矩阵 $\mathbf{A} \in \mathbb{R}^{n \times d}$ 均匀划分到 $m$ 个工作节点上，并在每轮通信中执行 $p$ 次本地幂迭代，以减少同步频率。
• 每轮本地更新后，服务器使用正交普鲁斯特变换（OPT）聚合结果，以对齐各节点上的局部特征向量矩阵，从而提升稳定性和收敛性。
• 作为 OPT 的计算高效替代方案，采用符号固定法，通过应用具有 $\pm 1$ 元素的对角矩阵来对齐特征向量，提供更好的稳定性和更低的复杂度。
• 引入一种衰减策略，即随时间周期性减少本地迭代次数 $p$，以增强收敛精度并避免发散。
• 该方法利用子空间迭代和正交迭代原理，理论分析表明，在保持恒定精度的前提下，所需通信轮次可减少至 $\tilde{\mathcal{O}}(1/p)$。
• 使用真实世界数据集对算法进行评估，比较了采用 OPT、符号固定法和原始 LocalPower 的变体在不同 $p$ 和 $m$ 下的表现。

实验结果

研究问题

• RQ1 每轮通信中执行多次本地幂迭代是否能显著减少分布式 SVD 所需的通信轮次？
• RQ2 通过正交普鲁斯特变换或符号固定法进行特征向量对齐，在分布式 SVD 中如何影响收敛性和稳定性？
• RQ3 递减的通信间隔策略是否能提升 LocalPower 最终解的精度？
• RQ4 在实际应用中，符号固定法与 OPT 相比，其计算效率和数值稳定性如何？
• RQ5 工作节点数量 $m$ 对 LocalPower 收敛性和误差的影响是什么？

主要发现

• 采用衰减策略的 LocalPower 在大多数数据集上实现了接近零的误差，表明其能收敛到高精度解。
• 使用符号固定法替代 OPT 可将计算成本降低高达 50%，同时保持相近的精度，使其成为一种实用的替代方案。
• 当 $p=4$ 时，采用衰减策略的 LocalPower 在 13 个数据集上均表现出最低误差，A9a 数据集的平均误差为 3.11e-04，Covtype 数据集为 4.95e-05。
• 当不使用衰减策略时，随着 $p$ 增大，误差也随之增加，这证实了理论预期：频繁的本地更新若无对齐机制，会降低性能。
• 未使用对齐或衰减策略的原始 LocalPower 在 $p$ 较大时经常发散，尤其在 A9a 和 Ijcnn1 等数据集上，凸显了稳定化技术的必要性。
• 工作节点数量 $m$ 越少，误差越低，表明在使用更少但更强大的节点时，通信效率更高。