[論文レビュー] Straggler Mitigation in Distributed Optimization Through Data Encoding

Can Karakus, Yifan Sun+2 more|arXiv (Cornell University)|Nov 14, 2017

Sparse and Compressive Sensing Techniques参考文献 20被引用数 63

ひとこと要約

本論文は分散最適化におけるストラグラーを緩和するためにデータ自体に冗長性を埋め込み、ノードの一部のみを用いて近似解へ収束させるコーディング非依存の勾配降下法とL-BFGSを実現する。

ABSTRACT

Slow running or straggler tasks can significantly reduce computation speed in distributed computation. Recently, coding-theory-inspired approaches have been applied to mitigate the effect of straggling, through embedding redundancy in certain linear computational steps of the optimization algorithm, thus completing the computation without waiting for the stragglers. In this paper, we propose an alternate approach where we embed the redundancy directly in the data itself, and allow the computation to proceed completely oblivious to encoding. We propose several encoding schemes, and demonstrate that popular batch algorithms, such as gradient descent and L-BFGS, applied in a coding-oblivious manner, deterministically achieve sample path linear convergence to an approximate solution of the original problem, using an arbitrarily varying subset of the nodes at each iteration. Moreover, this approximation can be controlled by the amount of redundancy and the number of nodes used in each iteration. We provide experimental results demonstrating the advantage of the approach over uncoded and data replication strategies.

研究の動機と目的

• 大規模分散最適化におけるストラグラー対策の動機付け。
• Xとyに直接冗長性を導入するデータ符号化戦略を提案。
• エンコードを知らずに動作するコーディング非依存の実行を可能にする。
• 符号化データの下で勾配降下法とL-BFGSの収束保証を証明。
• 実用的な符号化方式を提供し、未符号化および複製戦略と対向する実証的検証を行う。

提案手法

• Encode data as ���tilde;X = S X and ���tilde;y = S y with redundancy factor beta; and solve ���f;min_{w} (1/(2b n)) ||���S(Xw - y)||^2.
• 各反復で最速のmノードのうちk個だけを用いて勾配成分を供給する。
• Sのスペクトル条件の下で、w*の近傍への決定論的な線形収束を示す収束保証を導出。
• 三つの符号化行列クラスを提示: equiangular tight frames (ETF)、高速変換、ランダム行列。
• 符号化された問題へ勾配降下法とL-BFGS（ライン探索付き）を適用し、その挙動を分析。
• データ符号化によるプライバシー上の利点と、非滑らかまたは制約付き問題への一般化の可能性を議論。

実験結果

リサーチクエスチョン

• RQ1 各反復でワーカー更新の一部のみを使用する場合、冗長性を持つ符号化データはバッチ法の収束保証を満たすか。
• RQ2 元の最適解の近傍への収束を保証するために、符号化行列Sはどのようなスペクトル特性を満たすべきか。
• RQ3 特定の符号化方式（ETF、高速変換、ランダム行列）は、分散最適化における収束性と実用性の観点でどう性能を示すか。
• RQ4 勾配降下法やL-BFGSのような標準アルゴリズムを中核手続きを変更せずにコーディング非依存化できるか。
• RQ5 冗長性レベル、各反復で応答するノード数、解の近似品質のトレードオフはどうなるか。

主な発見

• 冗長性を持つデータの符号化は、各反復で一部のノードのみを用いて、w*の近傍への決定論的な線形収束を可能にする。
• 収束に必要な符号化特性を満たすため、ETF、高速変換、ランダム行列の三クラスの符号化行列を提案。
• 実験結果は、リッジ回帰と行列分解タスクにおいて、符号化スキームが未符号化および複製戦略を上回ることを示す。
• 収束保証は、冗長性レベルと各反復で待機するノード更新数によって調整可能。
• ノードが生データではなく符号化データ上で動作するため、プライバシー上の利点が生じる。
• フレームワークはより一般的な目的関数や制約付き/非滑らかな問題へ拡張可能。