[論文レビュー] Entangled Polynomial Codes for Secure, Private, and Batch Distributed Matrix Multiplication: Breaking the "Cubic" Barrier

Qian Yu, A. Salman Avestimehr|arXiv (Cornell University)|Jan 15, 2020

Stochastic Gradient Optimization Techniques参考文献 59被引用数 27

ひとこと要約

本稿は、安全で、プライベートかつバッチ処理可能な分散行列乗算を実現するためのエンタングルド多項式コードを導入し、従来の『立方』障壁を打ち破ることで、サブキュービックな回復閾値を達成した。バイリニア計算への多項式コーディングの拡張としてテンソル分解とラグランジュ符号化を用いることで、すべての3つの設定—セキュリティ、プライバシー、バッチ処理—において一貫した、オーダー的に低減された計算コストを実現し、先行する最先端の設計を上回った。

ABSTRACT

In distributed matrix multiplication, a common scenario is to assign each worker a fraction of the multiplication task, by partitioning the input matrices into smaller submatrices. In particular, by dividing two input matrices into $m$-by-$p$ and $p$-by-$n$ subblocks, a single multiplication task can be viewed as computing linear combinations of $pmn$ submatrix products, which can be assigned to $pmn$ workers. Such block-partitioning based designs have been widely studied under the topics of secure, private, and batch computation, where the state of the arts all require computing at least "cubic" ($pmn$) number of submatrix multiplications. Entangled polynomial codes, first presented for straggler mitigation, provides a powerful method for breaking the cubic barrier. It achieves a subcubic recovery threshold, meaning that the final product can be recovered from \emph{any} subset of multiplication results with a size order-wise smaller than $pmn$. In this work, we show that entangled polynomial codes can be further extended to also include these three important settings, and provide a unified framework that order-wise reduces the total computational costs upon the state of the arts by achieving subcubic recovery thresholds.

研究の動機と目的

• 安全で、プライベートかつバッチ処理可能な分散行列乗算における既存の手法の高い計算コスト、特に少なくとも $pmn$ 個の部分行列乗算を要することを是正すること。
• 元々ストラグルマイトゲーションのための設計であったエンタングルド多項式コードを、統一的なフレームワークにおいてセキュリティ、プライバシー、バッチ計算をサポートするように拡張すること。
• 少なくとも $pmn$ 個の部分行列積からの回復を可能にするのではなく、より少ない回復で計算コストをオーダー的に低減すること。
• セキュリティとプライバシーを維持しながら、回復閾値を最小限に抑える明示的な符号構成を提供すること。

提案手法

• 入力行列を事前に符号化し、ランク関数 $R(p,m,n)$ の上界を用いて、符号化されたベクトルの要素ごとの積を計算する問題に還元する。
• 回復閾値が $2R(p,m,n) - 1$ を達成する第二版のエンタングルド多項式コードを、すべての3つの設定に適用する。
• バッチ設定では、長さが $LR(p,m,n)$ 未満のベクトルの要素ごとの積をラグランジュ符号化を用いて計算する。
• 感覚的データとワーカー側の情報との間の相互情報量がゼロになるようにクエリと符号化入力を設計することで、プライバシーとセキュリティを確保する。
• バイリニア関数とランク3のテンソルの関係を活用し、行列乗算をより単純で分散可能なタスクに分解する。
• すべてのワーカーに対して $I(D;Q_i, ilde{A}_i, oldsymbol{B}) = 0$ および $I( ilde{A}_i; oldsymbol{A}) = 0$ を満たすように、セキュリティ、プライバシー、効率性を同時に満たす符号構成を構築する。

実験結果

リサーチクエスチョン

• RQ1 エンタングルド多項式コードは、安全な分散行列乗算における『立方』障壁を打ち破るために拡張可能か？
• RQ2 同じ符号フレームワークが、サブキュービックな回復閾値を達成しながら、プライベートかつバッチ処理可能な行列乗算においてプライバシーとセキュリティの両方を満たすことができるか？
• RQ3 バッチ処理可能な行列乗算において、$pmn$ よりも低い回復閾値を達成しつつ、セキュリティとプライバシーを維持するにはどうすればよいか？
• RQ4 ストラグルマイトゲーション、セキュリティ、プライベートバッチ計算を同時にサポートする統一的な符号フレームワークは存在するか？
• RQ5 ランク3のテンソルを用いたテンソル分解のアプローチは、低コストの符号化・復号化を有する他のマルチリニア関数へ一般化可能か？

主な発見

• 提案手法は、$2R(p,m,n) - 1$ の回復閾値を達成し、これはサブキュービックであり、先行研究の $pmn$ よりもオーダー的に小さい。
• L組のペアを含むバッチ行列乗算では、回復閾値の上界が $2LR(p,m,m) - 1$ となり、合計計算量が顕著に削減される。
• 感覚的データとワーカー側のデータとの間の相互情報量がゼロになるようにすることで、情報理論的セキュリティとプライバシーを維持する。
• フレームワークは、一貫した符号構造を用いて、セキュリティ、プライバシー、バッチ処理の計算を統合し、各設定間での最適化を可能にする。
• 計算コストと回復閾値の両面で最先端の設計を上回る、明示的な符号構成が提供されている。
• テンソル分解を介して、任意のマルチリニア関数に一般化可能であり、単純な計算のバッチ評価に還元することで実現できる。