[論文レビュー] Cross Subspace Alignment Codes for Coded Distributed Batch Computation

Zhuqing Jia, Syed A. Jafar|arXiv (Cornell University)|Sep 30, 2019

Stochastic Gradient Optimization Techniques参考文献 50被引用数 23

ひとこと要約

本稿では、通信コストを低減し、回復閾値を向上させるために、行列分割とバッチ処理の両方のアプローチを統合する、コード化分散バッチ計算のためのクロスサブスパイスアライメント（CSA）コードを提案する。この手法は、干渉を効果的にアライメントし、望ましい計算を回復可能にするために、コーシー・バナスキー行列構造を用いる。ダウンロード制限や遅延が生じる環境において、LCC や EP コードなどの既存手法を最大で N 倍の性能で上回る。

ABSTRACT

Coded distributed batch computation distributes a computation task, such as matrix multiplication, $N$-linear computation, or multivariate polynomial evaluation, across $S$ servers through a coding scheme, such that the response from any $R$ servers ($R$ is called the recovery threshold) is sufficient for the user to recover the desired computed value. Current approaches are based on either exclusively matrix-partitioning (Entangled Polynomial (EP) Codes for matrix multiplication), or exclusively batch processing (Lagrange Coded Computing (LCC)). We present three related classes of codes, based on the idea of Cross-Subspace Alignment (CSA) which was introduced originally in the context of private information retrieval. CSA codes are characterized by a Cauchy-Vandermonde matrix structure that facilitates interference alignment along Vandermonde terms, while the desired computations remain resolvable along the Cauchy terms. These codes unify, generalize and improve upon the state-of-art codes for distributed computing. First we introduce CSA codes for matrix multiplication, which yield LCC codes as a special case, and are shown to outperform LCC codes in general over strictly download-limited settings. Next, we introduce Generalized CSA (GCSA) codes for matrix multiplication that bridge the extremes of matrix-partitioning and batch processing approaches. Finally, we introduce $N$-CSA codes for $N$-linear distributed batch computations and multivariate batch polynomial evaluations. $N$-CSA codes include LCC codes as a special case, and are in general capable of achieving significantly lower downloads than LCC codes due to cross-subspace alignment. Generalizations of $N$-CSA codes to include $X$-secure data and $B$-byzantine servers are also obtained.

研究の動機と目的

• コード化分散コンピューティングにおける通信コストと計算遅延のトレードオフを解消すること。
• エンタングルド・ポリノミアル（EP）コードやラグランジュ・コードドコンピューティング（LCC）コードといった既存の手法を統一的かつ一般化するフレームワークを構築すること。
• 特にストラグルやセキュリティ制約下でも、バッチコンピューティング設定におけるダウンロードコストと回復閾値を低減すること。
• X-セキュアなデータとB-ビザンチンサーバーが存在する状況下でも、安全かつ耐障害性の高い計算を可能にすること。

提案手法

• この手法は、バナスキー項に沿った干渉アライメントを実現するとともに、コーシー項に沿って望ましい計算が解消可能であるように保つために、コーシー・バナスキー行列構造を採用する。
• 行列乗算のための CSA コードは、完全な結果が任意の R サーバーによって回復可能であることを保証する符号化されたデータアップロードとサーバー計算ルールによって構築される。
• 一般化 CSA（GCSA）コードは、クロスサブスパイスアライメントを通じて、行列分割とバッチ処理の極端な特徴を統合し、両者の利点を活かす。
• N-CSA コードは、N次元線形計算および多次元多項式評価にフレームワークを拡張し、セキュリティとビザンチン耐性をサポートする構造化符号化を備える。
• X-セキュアおよびB-ビザンチン拡張は、応答構築におけるMDS符号化ノイズベクトルとエラーリカバリコードを組み込むことで実現される。
• 復号プロセスでは、MDSコードを用いて応答内に最大B個の誤りを訂正し、任意のRサーバーからの出力を望ましい出力に回復可能にする。

実験結果

リサーチクエスチョン

• RQ1 バッチ処理の低通信コストと行列分割の柔軟な遅延特性を統合する統一的符号フレームワークを設計可能か？
• RQ2 分散計算における干渉アライメントをどのように活用すれば、ダウンロードコストを最小限に抑えつつ、回復閾値の効率を維持できるか？
• RQ3 ダウンロード制限下において、CSA コードは LCC や EP コードといった既存手法をどの程度上回るか？
• RQ4 CSA フレームワークは、セキュリティ（X-セキュア）およびビザンチンサーバーに対する耐性（B-ビザンチン）をサポートするように一般化可能か？
• RQ5 X-セキュアなデータとB-ビザンチンサーバーが存在する状況下でのN-CSA コードの理論的回復閾値は何か？

主な発見

• 行列乗算のための CSA コードは、LCC コードよりも低いダウンロードコストを達成し、ダウンロード制限下の環境ではそれらを上回る性能を示す。
• GCSA コードは、クロスサブスパイスアライメントを通じて、行列分割とバッチ処理の両アプローチの利点を統合し、相乗効果を発揮する。
• N-線形計算および多次元多項式評価のための N-CSA コードは、回復閾値 R = K_c(N + ℓ - 1) + N(X - 1) + 2B + 1 を達成し、ダウンロード制限下の状況では LCC コードを最大で N 倍の性能で上回る。
• N-CSA コードの X-セキュアおよび B-ビザンチン拡張は、MDS符号化ノイズとエラーリカバリメカニズムを用いて形式的に確立されており、データセキュリティと耐障害性を保証する。
• フレームワークは、任意のRサーバーからの回復をサポートし、最大B個の誤りを訂正可能であり、ビザンチン行動に対しても耐性を示す。
• コーシー・バナスキー構造により、望ましい計算をコーシー部分空間に分離し、干渉をバナスキー部分空間にアライメントすることで、効率的な復号が可能になる。