[论文解读] DID: Distributed Incremental Block Coordinate Descent for Nonnegative Matrix Factorization

Tianxiang Gao, Chris Chu|arXiv (Cornell University)|Feb 25, 2018

Matrix Theory and Algorithms被引用 4

一句话总结

该论文提出DID，一种用于非负矩阵分解（NMF）的分布式增量块坐标下降算法，可在分布式内存系统中实现高效、可扩展的NMF。通过利用最新残差增量更新因子矩阵，并且每轮迭代仅需一次通信，DID相较于现有方法实现了更快的收敛速度和线性可扩展性，尤其在包含高达10^8个样本的大规模数据集上表现优异。

ABSTRACT

Nonnegative matrix factorization (NMF) has attracted much attention in the last decade as a dimension reduction method in many applications. Due to the explosion in the size of data, naturally the samples are collected and stored distributively in local computational nodes. Thus, there is a growing need to develop algorithms in a distributed memory architecture. We propose a novel distributed algorithm, called extit{distributed incremental block coordinate descent} (DID), to solve the problem. By adapting the block coordinate descent framework, closed-form update rules are obtained in DID. Moreover, DID performs updates incrementally based on the most recently updated residual matrix. As a result, only one communication step per iteration is required. The correctness, efficiency, and scalability of the proposed algorithm are verified in a series of numerical experiments.

研究动机与目标

• 解决非负矩阵分解（NMF）在单台机器内存无法容纳的超大规模数据集上的可扩展性挑战。
• 通过设计适用于现代集群架构的分布式算法，克服集中式NMF算法的局限性。
• 通过最小化每轮迭代的同步步骤数量，减少分布式NMF中的通信开销。
• 相较于现有分布式NMF方法，在大规模合成数据集和真实世界数据集上实现更快的收敛速度和线性可扩展性。

提出的方法

• 通过将数据矩阵X和因子矩阵C按列划分为块，在计算节点之间分发，实现C的并行更新。
• 通过利用最新更新的残差矩阵，采用增量更新策略对基矩阵B进行更新，从而提升收敛速度。
• 使用块坐标下降推导出B和C的闭式更新规则，确保计算效率。
• 使用消息传递接口（MPI）实现算法，无需主处理器进行同步，从而提升可扩展性。
• 通过仅传播必要的中间变量（如δb）来限制每轮迭代的通信仅一步，降低网络开销。
• 采用良好缩放的初始值和K-means初始化方法，防止B或C中出现接近零范数导致的数值不稳定性。

实验结果

研究问题

• RQ1 能否设计一种分布式NMF算法，在大规模环境下实现快速收敛且通信开销最小化？
• RQ2 与批量或顺序更新相比，利用最新残差对基矩阵B进行增量更新在收敛性方面有何改进？
• RQ3 所提算法在数据规模和计算节点数量增加时，其可扩展性在多大程度上呈线性增长？
• RQ4 在收敛速度和通信成本方面，与现有分布式NMF方法（如D-HALS、HPC-ANLS和Maxios）相比，该算法表现如何？
• RQ5 当应用于稀疏和密集的真实世界数据集时，该算法能否保持数值稳定性和正确性？

主要发现

• 在运行时间方面，DID相较于HALS、BCD、DBCD及其他分布式NMF方法收敛更快，在16个节点上相较DBCD最高实现10%–15%的加速。
• 算法在样本数量上表现出线性可扩展性，当N从10^5增至10^8时，运行时间与之成比例增加。
• 每轮迭代仅需一次通信步骤，相较于HPC-ANLS（6步）和Maxios（8步）等方法，显著降低了通信开销。
• 在稀疏数据集（如MNIST和20News）上，HPC-ANLS表现更优，因其能精确求解NNLS子问题，但DID仍保持竞争力且具备良好的可扩展性。
• 通过与BCD和DBCD保持相同迭代次数，DID验证了其更新规则在数学上等价，从而保证了正确性。
• 该算法在合成数据集和真实世界数据集（包括密集数据集UMist、YaleB和稀疏数据集MNIST、20News）上均表现出稳健性，性能一致。