[論文レビュー] Rateless Codes for Private Distributed Matrix-Matrix Multiplication

Rawad Bitar, Marvin Xhemrishi+1 more|arXiv (Cornell University)|Apr 27, 2020

Stochastic Gradient Optimization Techniques参考文献 27被引用数 7

ひとこと要約

本稿では、計算能力に応じて動的にタスクを割り当て可能な非定格符号化方式RPM3を提案する。これは、計算能力が非均一で時間的に変化するワーカー・ノードを対象としたプライベート分散行列乗算を実現する。多項式補間と適応的タスクスケジューリングを用いることで、タスクサイズと遅延耐性を分離し、十分な応答が到着した段階ですぐに結果を復元できる。これにより、動的環境下での計算遅延を顕著に低減する一方で、情報理論的プライバシーを保持する。

ABSTRACT

We consider the problem of designing rateless coded private distributed matrix-matrix multiplication. A master server owns two private matrices $\mathbf{A}$ and $\mathbf{B}$ and wants to hire worker nodes to help compute the multiplication. The matrices should remain private from the workers, in an information-theoretic sense. This problem has been considered in the literature and codes with a predesigned threshold are constructed. More precisely, the master assigns tasks to the workers and waits for a predetermined number of workers to finish their assigned tasks. The size of the tasks assigned to the workers depends on the designed threshold. We are interested in settings where the size of the task must be small and independent of the designed threshold. We design a rateless private matrix-matrix multiplications scheme, called RPM3. Our scheme fixes the size of the tasks and allows the master to send multiple tasks to the workers. The master keeps receiving results until it can decode the multiplication. Two main applications require this property: i) leverage the possible heterogeneity in the system and assign more tasks to workers that are faster; and ii) assign tasks adaptively to account for a possibly time-varying system.

研究の動機と目的

• ワーカーの非均一性に基づく適応的タスク割り当てを可能にすることで、プライベート分散行列乗算における遅延ノードの課題に対処すること。
• 非共謀ワーカーから入力行列AとBのプライバシーを情報理論的に維持すること。
• タスクサイズを遅延耐性しきい値とは独立させた設計を実現し、動的負荷分散を可能にすること。
• 十分な結果が集まった段階ですぐに復元可能であることを通じて、マスタの待機時間を短縮し、全体的な計算効率を向上させること。

提案手法

• マスタは行列AとBを部分行列に分割し、多項式補間を用いてランダム行列RとSでタスクを符号化する。
• 各ワーカーは、Fq 上の異なる点ai ∈ Fq における2つの多項式 f(x) = R(1−x) + Ax と g(x) = S(1−x) + Bx の評価値を受信する。
• マスタはワーカーから得た結果 h(ai) = f(ai)g(ai) を収集し、十分な評価値が得られると、補間を用いて全積行列 C = AB を復元する。
• ワーカーは計算能力に応じてクラスタにグループ化され、高速なクラスタはより多くのタスク（τu 個/クラスタu）を割り当てられる。
• ラグランジュ補間を用いて、ワーカー応答の部分集合から行列積を再構成することで、プライバシーと正しさを保証する。
• マスタは、時間的変化するワーカーの性能とリソース可用性を考慮し、クラスタ間でのタスク配分を動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 非均一かつ時間変動するワーカーリソースに適応可能なプライベート分散行列乗算は、どのように実現できるか？
• RQ2 プライバシーと正しさを維持しつつ、タスクサイズを遅延耐性しきい値から分離することは可能か？
• RQ3 非定格プライベート計算方式において、計算の柔軟性と符号化レートのトレードオフは何か？
• RQ4 クラスタ間での動的タスク割り当ては、固定しきい値方式と比較して全体の計算遅延にどのように影響するか？
• RQ5 1ラウンドあたり複数の多項式を使用した場合、プライベート行列乗算におけるレートと復元遅延に及ぼす影響は何か？

主な発見

• RPM3では、十分な応答が到着した段階ですぐに行列積を復元できるため、固定忤数の応答を待つ方式と比較して待機時間が短縮される。
• ワーカーの速度に比例した動的タスク割り当てが可能であり、非均一環境下でのシステム効率が向上する。
• m_I + z k_I + z - 1 ≤ -D の条件下で、D = m_I k_I - m k (1+ε) が成り立つ場合、RPM3のレートは[25]などの先行研究より低くなる。これは、柔軟性とレートのトレードオフを示している。
• τ_c < ⌈m k / (m_I k_I)⌉ の場合、RPM3は遅延が低減する。なぜなら、固定しきい値方式と比較して、1ワーカーあたりの待機タスク数が少なくなるからである。
• 必要な応答数Nは、N = 2 m k (1+ε) + (z−1) τ_c ∑γ_u,c + z τ_c γ_1,c で与えられ、これはクラスタ間のタスク配分を考慮している。
• 攻撃を受けたワーカー数がしきい値未満であれば、適応的タスクスケジューリングであっても、情報理論的プライバシーが維持される。