[论文解读] Entangled Polynomial Codes for Secure, Private, and Batch Distributed Matrix Multiplication: Breaking the "Cubic" Barrier

Qian Yu, A. Salman Avestimehr|arXiv (Cornell University)|Jan 15, 2020

Stochastic Gradient Optimization Techniques参考文献 59被引用 27

一句话总结

本文提出了一种纠缠多项式编码方法，用于安全、私密且批量的分布式矩阵乘法，通过实现亚立方恢复阈值，打破了长期存在的“立方”瓶颈。通过将多项式编码扩展至双线性计算，结合张量分解与拉格朗日编码，该方法在安全、私密和批量计算三种场景下实现了统一的、阶次减少的计算成本，优于以往最先进的设计方案。

ABSTRACT

In distributed matrix multiplication, a common scenario is to assign each worker a fraction of the multiplication task, by partitioning the input matrices into smaller submatrices. In particular, by dividing two input matrices into $m$-by-$p$ and $p$-by-$n$ subblocks, a single multiplication task can be viewed as computing linear combinations of $pmn$ submatrix products, which can be assigned to $pmn$ workers. Such block-partitioning based designs have been widely studied under the topics of secure, private, and batch computation, where the state of the arts all require computing at least "cubic" ($pmn$) number of submatrix multiplications. Entangled polynomial codes, first presented for straggler mitigation, provides a powerful method for breaking the cubic barrier. It achieves a subcubic recovery threshold, meaning that the final product can be recovered from \emph{any} subset of multiplication results with a size order-wise smaller than $pmn$. In this work, we show that entangled polynomial codes can be further extended to also include these three important settings, and provide a unified framework that order-wise reduces the total computational costs upon the state of the arts by achieving subcubic recovery thresholds.

研究动机与目标

• 为解决现有方案在安全、私密和批量分布式矩阵乘法中计算成本过高的问题，这些方案至少需要 $pmn$ 次子矩阵乘法。
• 将原本专为缓解延迟节点问题而设计的纠缠多项式编码扩展至统一框架，以支持安全、私密和批量计算。
• 通过允许从少于 $pmn$ 次子矩阵乘积中恢复，实现总计算成本的阶次减少。
• 提供显式的编码构造，确保安全性与私密性的同时最小化恢复阈值。

提出的方法

• 使用对秩函数 $R(p,m,n)$ 的上界对输入矩阵进行预编码，将问题简化为计算编码向量的逐元素乘积。
• 对所有三种场景，对预编码向量应用第二版纠缠多项式编码，其恢复阈值为 $2R(p,m,n) - 1$。
• 在批量场景中，使用拉格朗日编码计算长度最多为 $LR(p,m,n)$ 的向量的逐元素乘积。
• 通过设计查询和编码输入，使得敏感数据与工作节点端信息之间的互信息为零，从而确保隐私与安全。
• 利用双线性函数与秩-3张量之间的联系，将矩阵乘法分解为更简单、可分布的任务。
• 通过确保所有工作节点满足 $I(D;Q_i, ilde{A}_i, oldsymbol{B}) = 0$ 和 $I( ilde{A}_i; oldsymbol{A}) = 0$，构建同时满足安全性、私密性与高效性的方案。

实验结果

研究问题

• RQ1 纠缠多项式编码能否被扩展以在安全分布式矩阵乘法中打破“立方”瓶颈？
• RQ2 相同的编码框架能否在恢复阈值亚立方的前提下，同时实现在私密与批量矩阵乘法中的隐私与安全？
• RQ3 在批量矩阵乘法中，如何在保持安全与私密性的同时，将恢复阈值降低至 $pmn$ 以下？
• RQ4 是否存在一个统一的编码框架，能够同时支持延迟节点缓解、安全性与私密批量计算？
• RQ5 通过秩-3张量实现的张量分解方法，能否推广至其他具有低复杂度编码与解码的多线性函数？

主要发现

• 所提方案实现了 $2R(p,m,n) - 1$ 的恢复阈值，该值为亚立方，且阶次显著低于以往工作的 $pmn$ 阈值。
• 对于包含 $L$ 对输入的批量矩阵乘法，恢复阈值的上界为 $2LR(p,m,m) - 1$，显著降低了总计算量。
• 通过确保敏感数据与工作节点端数据之间的互信息为零，该方案保持了信息论意义上的安全与私密性。
• 该框架在单一编码结构下统一了安全、私密与批量计算，实现了跨场景的共享优化。
• 提供了显式的编码构造，其在计算成本与恢复阈值方面优于当前最先进的设计。
• 该方法可通过将多线性函数转化为张量分解下的批量简单计算，推广至任意多线性函数。