[論文レビュー] Serverless Straggler Mitigation using Local Error-Correcting Codes

Vipul Gupta, Dominic Carrano+4 more|arXiv (Cornell University)|Jan 21, 2020

Caching and Content Delivery参考文献 38被引用数 6

ひとこと要約

この論文は、クラウドプラットフォームにおける行列乗算における遅延するノード（straggler nodes）を軽減するため、ローカルエラー訂正符号を用いたサーバーヲス型で完全に分散化されたコーディング方式を提案する。中央マスタを必要とせず、ワーカー間で並列に符号化・復号化を実行できるため、スペキュラティブ実行および既存のコーディング方式と比較して、エンドツーエンドの遅延を25%以上短縮する。また、復号時間に関して漸近的最適性を達成する。

ABSTRACT

Inexpensive cloud services, such as serverless computing, are often vulnerable to straggling nodes that increase end-to-end latency for distributed computation. We propose and implement simple yet principled approaches for straggler mitigation in serverless systems for matrix multiplication and evaluate them on several common applications from machine learning and high-performance computing. The proposed schemes are inspired by error-correcting codes and employ parallel encoding and decoding over the data stored in the cloud using serverless workers. This creates a fully distributed computing framework without using a master node to conduct encoding or decoding, which removes the computation, communication and storage bottleneck at the master. On the theory side, we establish that our proposed scheme is asymptotically optimal in terms of decoding time and provide a lower bound on the number of stragglers it can tolerate with high probability. Through extensive experiments, we show that our scheme outperforms existing schemes such as speculative execution and other coding theoretic methods by at least 25%.

研究の動機と目的

• サーバーレスコンピューティングにおける遅延するノードの問題に対処すること。これは、ワーカーの性能差によりエンドツーエンドの遅延が著しく増大するためである。
• 符号化/復号化コストが無視できない大規模なサーバーレス環境において、スペキュラティブ実行やマスターノード依存のコーディング方式の限界を克服すること。
• 局所性を活用したエラー訂正符号の性質を活かし、符号化と復号化を完全に分散化し、マスターノードを排除したフレームワークを設計することで、合計実行時間を最小化すること。
• アルゴリズム的挙動を変更せずに、低レベルの計算ボトル neck である行列乗算で動作するため、既存アプリケーションとの互換性を保証すること。
• 現実的な遅延するノードの分布を想定した条件下で、復号失敗確率の理論的保証および復号時間の漸近的最適性を提供すること。

提案手法

• 局所復元可能符号（LRCs）を用いて、サーバーレスワーカー間で効率的かつ並列に符号化・復号化を実行し、中央集権的制御を回避する。
• 行列乗算をブロックに分解し、クラウドに格納されたデータブロックに符号化を適用する。構造化された符号設計により、局所的回復が可能となる。
• 符号化および復号化タスクをワーカーに分散配分し、特定のノードがすべての計算を担うことを防ぐ。これにより、通信・ストレージ・計算のマスターノードボトル neck が解消される。
• 確率論的解析を用いて、遅延するノードの復号不能な構成（例：4人、5人、6人、7人分の遅延するノード集合）の数を数えることで、復号失敗確率の上界を求める。
• 故障構成の組み合わせ的カウントに基づき、高い確率で耐えられる遅延するノードの数の理論的下界を導出する。
• 復号プロセスを、復号可能なワーカーのサブセットからの結果を用いた線形システム再構築問題として定式化し、十分な非遅延ワーカーの結果が集まった場合には正しく復元されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 マスターノードを排除した分散型コーディング方式は、サーバーレスシステムにおける行列乗算において、スペキュラティブ実行を上回るエンドツーエンドの遅延短縮を達成できるか？
• RQ2 エラー訂正符号における局所性を活用することで、大規模なサーバーレス環境における符号化・復号化コストを最小化できるか？
• RQ3 ブロック符号化された行列乗算フレームワークにおいて、現実的な遅延するノードの分布を想定した場合、復号失敗確率の理論的上界は何か？
• RQ4 本手法は、復号時間の漸近的最適性を維持しつつ、どの程度の遅延するノードを耐えられるか？
• RQ5 本手法は、ユーザーのアルゴリズム論理を変更せずに、既存のアプリケーションに普遍的に適用可能か？正しく動作し、透明性を保つことができるか？

主な発見

• 提案手法は、サーバーレス環境においてスペキュラティブ実行および他の既存の符号理論的アプローチと比較して、エンドツーエンドの遅延を25%以上短縮する。
• 復号時間に関して漸近的最適性を達成しており、十分なワーカーの結果が到着した時点で、最終結果を再構築するのに必要な時間を最小限に抑える。
• 復号不能な遅延するノード構成（例：4人、5人、6人、7人分の遅延するノード集合）の組み合わせ的カウントを用いて、復号失敗確率の上界が明示的に求められる。
• 符号化と復号化をワーカーに分散させることで、マスターノードのボトル neck を完全に解消し、サーバーレスプラットフォームにおける完全な水平スケーリングを実現する。
• 理論的解析により、遅延するノードの割合が低い場合（例：AWS Lambdaでは約2%）、多数の遅延するノードを高い確率で耐えられることが示された。
• 行列乗算に依存するあらゆるアルゴリズムに普遍的に適用可能である。これは、ユーザーのコードを変更せずに、計算プリミティブレベルで透明に動作するためである。