[論文レビュー] A Sequential Approximation Framework for Coded Distributed Optimization

Jingge Zhu, Ye Pu+3 more|arXiv (Cornell University)|Oct 24, 2017

Stochastic Gradient Optimization Techniques参考文献 7被引用数 6

ひとこと要約

本論文は、遅延するプロセッサ（ストラグラー）が存在する分散最適化システムにおいて、計算を高速化するための逐次的近似フレームワークを提案する。このフレームワークは、任意の完成したプロセッサのサブセットからも早期に有用な結果を得ることを可能にする。行列-ベクトル乗算の符号化逐次計算方式を活用することで、部分計算が完了した時点でいつでも近似解が得られ、符号化方式の最適性を理論的に証明し、最適化の収束時間に顕著な改善を示す。

ABSTRACT

Building on the previous work of Lee et al. and Ferdinand et al. on coded computation, we propose a sequential approximation framework for solving optimization problems in a distributed manner. In a distributed computation system, latency caused by individual processors ("stragglers") usually causes a significant delay in the overall process. The proposed method is powered by a sequential computation scheme, which is designed specifically for systems with stragglers. This scheme has the desirable property that the user is guaranteed to receive useful (approximate) computation results whenever a processor finishes its subtask, even in the presence of uncertain latency. In this paper, we give a coding theorem for sequentially computing matrix-vector multiplications, and the optimality of this coding scheme is also established. As an application of the results, we demonstrate solving optimization problems using a sequential approximation approach, which accelerates the algorithm in a distributed system with stragglers.

研究の動機と目的

• 遅延するプロセッサ（ストラグラー）により全体の計算が遅延する分散最適化におけるストラグル問題に対処すること。
• プロセッサの遅延が不確実な状況下でも、行列-ベクトル乗算の早期で有用な近似を可能にする符号化方式を設計すること。
• 大規模最適化問題をより効率的に解くために、この符号化方式を逐次的近似フレームワークに統合すること。
• 逐次的行列-ベクトル積の回復に適した符号化方式の最適性を証明すること。

提案手法

• フレームワークは、行列ブロックをプロセッサ間で線形符号化することで、任意の完成したプロセッサのサブセットから部分結果を回復可能にする。
• 任意の i 個のプロセッサ（i ≥ 1）が行列-ベクトル積を回復できるように、逐次的計算方式を設計する。これにより、早期の近似が可能となる。
• 符号化方式はMDSに類似した原理に基づき、各プロセッサが複数の行列の行の線形結合を格納する。これは最小限のストレージと最大限の回復柔軟性を最適化する。
• 各行列ブロックあたりに必要な最小ストレージ量の下界を証明し、逐次回復制約下で提案方式が最適であることを示す。
• 反復的最適化手法（例：プロキシマル勾配法、ADMM）と統合し、元の問題に収束する近似解を繰り返し求める。
• 理論的分析により、符号化方式が逐次回復においてストレージ使用量を最適化しており、導出されたストレージ総量の下界と一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 非ストラグルプロセッサの部分計算を活用することで、分散最適化システムが早期に有用な結果を得られるか？
• RQ2 任意の i 個のプロセッサから行列-ベクトル積を逐次回復可能な符号化方式の最小ストレージ要件は何か？
• RQ3 符号化計算を反復的最適化アルゴリズムに統合することで、ストラグルの影響を受ける状況下でも収束を加速できるか？
• RQ4 逐次的行列-ベクトル乗算のための提案符号化方式は、ストレージ使用量の観点で最適か？
• RQ5 このような逐次的符号化計算方式の理論的性能限界は何か？

主な発見

• 逐次的行列-ベクトル乗算のための提案符号化方式は、導出された各行列ブロックあたりのストレージ下界と一致し、ストレージ使用量において最適である。
• i が 1 から L の範囲で、任意の i 個のプロセッサを用いて行列-ベクトル積を回復可能であり、結果の早期近似を保証する。
• i が k_i を割り切る場合、各行列あたりの最適ストレージは L*k_i/i である。そうでない場合、下界は L*floor(k_i/i) + L - i + mod(k_i, i) である。
• ストラグルが存在する分散システムにおいて、フレームワークにより全体の最適化時間が短縮され、近似解への早期収束が可能になる。
• ユーザー中心の設計であり、プロセッサが異なる近似レベルを認識する必要がないため、実装が簡素化される。
• 逐次的近似フレームワークにより、プロキシマル勾配法やADMMなどの最適化アルゴリズムの収束が加速され、部分計算結果の早期利用が可能になる。