[论文解读] A Riemannian gossip approach to decentralized matrix completion

Bamdev Mishra, Hiroyuki Kasai+1 more|arXiv (Cornell University)|May 23, 2016

Distributed Control Multi-Agent Systems参考文献 21被引用 3

一句话总结

本文提出了一种用于去中心化低秩矩阵补全的黎曼共识算法，其中多个代理通过在格拉斯曼流形上最小化局部补全与一致性项的加权和来协作完成矩阵。该方法确保了渐近收敛性，支持对病态问题的预条件处理，并在 MovieLens 20M 等基准测试中实现了具有竞争力的性能，其可扩展性与准确性优于 D-LMaFit。

ABSTRACT

In this paper, we propose novel gossip algorithms for the low-rank decentralized matrix completion problem. The proposed approach is on the Riemannian Grassmann manifold that allows local matrix completion by different agents while achieving asymptotic consensus on the global low-rank factors. The resulting approach is scalable and parallelizable. Our numerical experiments show the good performance of the proposed algorithms on various benchmarks.

研究动机与目标

• 解决在隐私与通信约束下大规模去中心化矩阵补全的挑战。
• 开发一种基于共识的框架，使代理能够在达成全局低秩因子一致性的前提下协作完成矩阵。
• 通过限制每个代理每次仅与一个其他代理通信，降低通信开销。
• 确保在去中心化、分布式设置下算法的渐近收敛性。
• 通过预条件处理与并行化，提升在病态与大规模实例中的性能。

提出的方法

• 将去中心化矩阵补全问题表述为在格拉斯曼流形上的局部补全与一致性项的加权和。
• 采用固定秩矩阵分解 X = UW^T，其中 U ∈ St(r,m) 且 W ∈ R^{n×r}，以强制实现低秩结构。
• 在格拉斯曼流形上使用随机黎曼梯度下降更新 U，每一步均通过闭式解求解 W。
• 实施一种基于共识的通信协议，代理在每次迭代中仅与一个邻居交换信息，以最小化通信量。
• 提出一种使用对角预条件矩阵的预条件变体，以提升在病态问题上的收敛速度。
• 引入一种并行变体，支持代理间的同步更新，充分利用并行计算架构。

实验结果

研究问题

• RQ1 基于共识的去中心化框架是否能在最小化通信量的同时实现低秩矩阵补全的渐近一致性？
• RQ2 所提出的黎曼共识算法在大规模数据集上的性能与 SOTA 方法（如 D-LMaFit）相比如何？
• RQ3 在病态矩阵补全场景中，预条件处理在多大程度上提升了收敛性与准确性？
• RQ4 所提出的算法是否能有效扩展至包含数十亿个评分的真实世界数据集（如 MovieLens 20M）？
• RQ5 由 ρ 控制的补全与一致性项之间的平衡如何影响收敛性与准确性？

主要发现

• 在 MovieLens 20M 数据集上，Online Gossip 算法优于 D-LMaFit，当秩为 5 时，归一化平均绝对误差（NMAE）达到 0.1507 ± 3×10⁻³。
• 预条件变体在病态问题上显著加速了收敛，训练误差下降速度明显快于非预条件版本。
• 在 MovieLens 20M 数据集上，代理之间实现了渐近一致性，代理间距离随迭代次数趋近于零。
• 并行变体在训练集与测试集上的性能与在线变体相似，表明其具备良好的可扩展性。
• 对于一个 10,000×100,000 的秩为 5 且过采样比为 6 的矩阵，当 ρ=10³ 时，算法同时实现了矩阵补全与一致性，验证了理论上的权衡。
• 在动态设置中，算法表现出鲁棒性，代理 2 和 3 由于更新频率更高（在假设 A1 下），收敛速度更快。