[論文レビュー] Coded Sparse Matrix Multiplication

Sinong Wang, Jiashang Liu+1 more|arXiv (Cornell University)|Feb 9, 2018

Stochastic Gradient Optimization Techniques参考文献 16被引用数 73

ひとこと要約

分散 A^T B 演算の疎コードを導入し、疎性を保持しつつ、ほぼ最適な回復閾値 Theta(mn) を達成し、 nnz(C) に対してほぼ線形のデコード時間を保証します。

ABSTRACT

In a large-scale and distributed matrix multiplication problem $C=A^{\intercal}B$, where $C\in\mathbb{R}^{r\times t}$, the coded computation plays an important role to effectively deal with "stragglers" (distributed computations that may get delayed due to few slow or faulty processors). However, existing coded schemes could destroy the significant sparsity that exists in large-scale machine learning problems, and could result in much higher computation overhead, i.e., $O(rt)$ decoding time. In this paper, we develop a new coded computation strategy, we call \emph{sparse code}, which achieves near \emph{optimal recovery threshold}, \emph{low computation overhead}, and \emph{linear decoding time} $O(nnz(C))$. We implement our scheme and demonstrate the advantage of the approach over both uncoded and current fastest coded strategies.

研究の動機と目的

• 大規模分散行列乗算におけるストラグラー問題の動機付けと対処。
• 入力/出力の疎性を保持して計算および通信のオーバーヘッドを削減。
• ほぼ最適な回復閾値と低いデコード計算量を備えた符号化方式を設計。
• 疎行列に特化した次数分布とデコードアルゴリズムを開発・分析。
• 非符号化スキームおよび既存の符号化戦略と比較して実証的にベンチマーク。

提案手法

• 各ワーカーが A_i^T B_j の加重和を、有限集合 S から抽出した重みで計算する (P,S)-疎コードを定義。
• 各符号付きタスクに参加する項の数を決定する次数分布 P の使用（Wave Soliton 分布）。
• 重みから係数行列 M を作成し、剥離（グラフベース）デコードとガウス消去を組み合わせたハイブリッドデコードアルゴリズムを採用。
• 剥離が停滞した場合に線形結合を介してブロックを回復する根付きステップを導入し、デコードが高確率で完了することを保証。
• M の全ランク条件とランダム二部グラフの完璧マッチングの存在を結びつけることで、回復閾値 K = Theta(mn) を高確率でほぼ最適と証明。
• デコード計算量を O(nnz(C) ln(mn)) と記述し、 rt や全行列サイズではなく nnz(C) にスケールすることを示す。

実験結果

リサーチクエスチョン

• RQ1 符号化計算はスパースかつ大規模な行列乗算において、疎性を破壊することなくストラグラーを緩和できるか。
• RQ2 スパース入力に対して達成可能な回復閾値とデコード計算量は何であり、それを nnz(C) にほぼ線形に近づけるにはどうすればよいか。
• RQ3 全Rankデコードを高確率で保証するための次数分布とデコード手順をどう設計するか。
• RQ4 実務上、スパースコードは既存のスキーム（未符号化、スパース MDS、プロダクトコード、ポリノミアルコード、LTコード）と比較してどのように分かれるか。

主な発見

• 疎コードは高確率で回復閾値 Theta(mn) を達成する。
• デコード時間は nnz(C) にほぼ線形：O(nnz(C) ln(mn))。
• 係数行列の平均的な行ごとの次数は O(ln(mn)) となり、疎な M が alpha = O(ln(mn)) を生成。
• Wave Soliton 分布により、定数の根付きステップでほぼ最適な回復を実現。
• Schwartz-Zeppel補題を用いて、完全ランクとランダム二部グラフの完璧マッチングの存在を関連づけ、全ランクの証明を可能にする。
• 大規模な疎行列に対する実験結果は、未符号化、LTコード、疎 MDS、プロダクトコード、ポリノミアルコードのベースラインに対して顕著な時間改善を示す。