[論文レビュー] "Short-Dot": Computing Large Linear Transforms Distributedly Using Coded\n Short Dot Products

Sanghamitra Dutta, Viveck R. Cadambe+1 more|arXiv (Cornell University)|Apr 17, 2017

Error Correcting Code Techniques被引用数 115

ひとこと要約

Short-Dotは、分散システムで大規模な線形変換を計算するためのコーディング理論にインスパイアされた手法を導入します。多数の短くて疎なドット積を用いることで、P個のプロセッサのうち任意のK個がA xを回復できるようにし、ストラグラーを緩和します。

ABSTRACT

Faced with saturation of Moore's law and increasing dimension of data, system\ndesigners have increasingly resorted to parallel and distributed computing.\nHowever, distributed computing is often bottle necked by a small fraction of\nslow processors called "stragglers" that reduce the speed of computation\nbecause the fusion node has to wait for all processors to finish. To combat the\neffect of stragglers, recent literature introduces redundancy in computations\nacross processors, e.g.,~using repetition-based strategies or erasure codes.\nThe fusion node can exploit this redundancy by completing the computation using\noutputs from only a subset of the processors, ignoring the stragglers. In this\npaper, we propose a novel technique -- that we call "Short-Dot" -- to introduce\nredundant computations in a coding theory inspired fashion, for computing\nlinear transforms of long vectors. Instead of computing long dot products as\nrequired in the original linear transform, we construct a larger number of\nredundant and short dot products that can be computed faster and more\nefficiently at individual processors. In reference to comparable schemes that\nintroduce redundancy to tackle stragglers, Short-Dot reduces the cost of\ncomputation, storage and communication since shorter portions are stored and\ncomputed at each processor, and also shorter portions of the input is\ncommunicated to each processor. We demonstrate through probabilistic analysis\nas well as experiments that Short-Dot offers significant speed-up compared to\nexisting techniques. We also derive trade-offs between the length of the\ndot-products and the resilience to stragglers (number of processors to wait\nfor), for any such strategy and compare it to that achieved by our strategy.\n

研究の動機と目的

• ストラグラーによる遅延の下で高次元線形変換の高速計算を動機づける。
• A xの回復可能性を保ちながら、各プロセッサのドット積の長さを削減するコーディング戦略を開発する。
• ドット積の長さとストラグラー耐性の基本的なトレードオフを特徴づける。
• 既存のスキームに対する性能向上を示す分析と実証的結果を提供する。

提案手法

• FをP by N行列として構成し、任意のK行が線形結合してAのM行を回復できる一方で、各Fの行はs = (N/P)(P−K+M)の疎性を持つ。
• 疎性パターンと回復性を保証するために、行列Bと付加ベクトルを用いてFをオフラインでエンコードする。
• 短いドット積をP個のプロセッサに分配し、各プロセッサは疎性パターンに制限されたxのドット積を計算する。
• フュージョンノードは、Bの対応する行により決定される線形結合を介して最初のK個の応答を用いてAxを回復する。
• 大Nに対して疎性の限界とほぼ最適性を示す理論的境界を提供し、MDSおよび繰り返し戦略と比較する。
• シフトされた指数分布モデル下で計算時間を分析し、Short-Dotと未コード、繰り返し、MDSスキームを比較する。

実験結果

リサーチクエスチョン

• RQ1 各プロセッサの疎性を制御した状態で、K個の短い疎ドット積から任意のA xを回復できるか？
• RQ2 ドット積の長さと待機すべきプロセッサ数(K)の根本的なトレードオフはどのようなものか？
• RQ3 ストラッグラー条件下で、Short-Dotは未コード、繰り返し、MDSベースの戦略と比較してどう機能するか？
• RQ4 疎性と耐性の観点で、どの条件下でShort-Dotはほぼ最適か？
• RQ5 大規模設定でのShort-Dotの期待計算時間削減はどの程度か？

主な発見

• Short-Dotは各プロセッサのドット積の疎性s = (N/P)(P−K+M)を実現しつつ、Fの任意のK行がA xベクトルを生成できることを保証します。
• 本研究は所望の特性を持つFの存在を証明し、平均疎性の下限を導出します。Large NおよびM>1に対してShort-Dotはほぼ最適な疎性を満たします。
• シフトされた指数分布のストラグリングモデル下で、Short-Dotは未コード、繰り返し、およびMDS戦略よりも期待計算時間が小さくなる主要な領域を提供し、M=Θ(P)の領域や特定のサブ線形ケースを含みます。
• Short-Dotは漸近的に高速な計算時間を提供でき、利得はlog(P)またはPに関連する要因としてMとPに依存してスケーリングします。
• 各ドット積が短く、入力サブセットが伝達されるため、各プロセッサのストレージと通信負荷を削減します。
• 実験結果は、ストラグラー環境でShort-Dotが既存戦略を上回ることを示しています。