[论文解读] Rateless Codes for Private Distributed Matrix-Matrix Multiplication

Rawad Bitar, Marvin Xhemrishi+1 more|arXiv (Cornell University)|Apr 27, 2020

Stochastic Gradient Optimization Techniques参考文献 27被引用 7

一句话总结

本文提出RPM3，一种用于私有分布式矩阵-矩阵乘法的无码率编码方案，可基于计算能力动态分配任务至异构且时变的工作者节点。通过使用多项式插值与自适应任务调度，RPM3将任务大小与慢速节点容忍度解耦，使主节点在收到足够响应后即可立即解码结果，显著降低动态环境中的计算延迟，同时保持信息论隐私。

ABSTRACT

We consider the problem of designing rateless coded private distributed matrix-matrix multiplication. A master server owns two private matrices $\mathbf{A}$ and $\mathbf{B}$ and wants to hire worker nodes to help compute the multiplication. The matrices should remain private from the workers, in an information-theoretic sense. This problem has been considered in the literature and codes with a predesigned threshold are constructed. More precisely, the master assigns tasks to the workers and waits for a predetermined number of workers to finish their assigned tasks. The size of the tasks assigned to the workers depends on the designed threshold. We are interested in settings where the size of the task must be small and independent of the designed threshold. We design a rateless private matrix-matrix multiplications scheme, called RPM3. Our scheme fixes the size of the tasks and allows the master to send multiple tasks to the workers. The master keeps receiving results until it can decode the multiplication. Two main applications require this property: i) leverage the possible heterogeneity in the system and assign more tasks to workers that are faster; and ii) assign tasks adaptively to account for a possibly time-varying system.

研究动机与目标

• 为解决私有分布式矩阵-矩阵乘法中慢速节点的问题，通过基于工作者异构性的自适应任务分配实现动态调整。
• 确保输入矩阵A和B对非共谋工作者保持信息论隐私。
• 设计一种任务大小固定且与慢速节点容忍度阈值无关的方案，实现动态负载均衡。
• 通过在收集到足够结果后允许提前解码，减少主节点等待时间，提升整体计算效率。

提出的方法

• 主节点将矩阵A和B分割为子矩阵，并使用随机矩阵R和S通过多项式插值对任务进行编码。
• 每个工作者在域Fq中的不同点ai ∈ Fq处接收两个多项式f(x) = R(1−x) + Ax和g(x) = S(1−x) + Bx的取值。
• 主节点收集来自工作者的h(ai) = f(ai)g(ai)结果，并在收到足够多的取值后，使用插值法解码完整乘积C = AB。
• 根据计算能力将工作者分组为集群，计算能力越快的集群分配的任务越多（每个集群u分配τu个任务）。
• 该方案使用拉格朗日插值从部分工作者响应中重建矩阵乘积，确保隐私性和正确性。
• 主节点动态调整各集群间任务分配，以适应随时间变化的工作者性能和资源可用性。

实验结果

研究问题

• RQ1 如何使私有分布式矩阵-矩阵乘法适应异构且时变的工作者资源？
• RQ2 能否在保持隐私性和正确性的前提下，将任务大小与慢速节点容忍度阈值解耦？
• RQ3 在无码率私有计算方案中，计算灵活性与编码速率之间的权衡是什么？
• RQ4 与固定阈值方案相比，跨集群的动态任务分配如何影响整体计算延迟？
• RQ5 每轮使用多个多项式对速率和解码延迟在私有矩阵乘法中的影响是什么？

主要发现

• RPM3使主节点在收到足够多结果后即可立即解码矩阵乘积，相比需要固定响应数量的方案，显著减少了等待时间。
• 该方案允许按工作者速度成比例地动态分配任务，提升了异构环境下的系统效率。
• 当m_I + z k_I + z - 1 ≤ -D时，RPM3的速率低于[25]等先前方案，其中D = m_I k_I - m k (1+ε)，表明灵活性与速率之间存在权衡。
• 当τ_c < ⌈m k / (m_I k_I)⌉时，RPM3可降低延迟，因为主节点相比固定阈值方案需等待更少的任务响应。
• 所需结果数量N由N = 2 m k (1+ε) + (z−1) τ_c ∑γ_u,c + z τ_c γ_1,c给出，该式考虑了任务在各集群间的分布。
• 只要被攻破的工作者数量低于阈值，该方案即使在自适应任务调度下仍能保持信息论隐私。