[論文レビュー] Harnessing the Power of Serverless Runtimes for Large-Scale Optimization

Arda Aytekin, Mikael Johansson|arXiv (Cornell University)|Jan 10, 2019

Cloud Computing and Resource Management参考文献 22被引用数 5

ひとこと要約

本稿では、大規模最適化問題を分散交替方向乗数法（ADMM）によって解くために、マスターワーカーアーキテクチャにおけるワーカーとしてAWS Lambdaサーバess関数を活用する手法を提案する。256ワーカーで最大256倍の相対的高速化と64ワーカーで70%以上の効率性を達成し、状態管理とコールドスタートの課題が存在するものの、実現可能性が示された。

ABSTRACT

The event-driven and elastic nature of serverless runtimes makes them a very efficient and cost-effective alternative for scaling up computations. So far, they have mostly been used for stateless, data parallel and ephemeral computations. In this work, we propose using serverless runtimes to solve generic, large-scale optimization problems. Specifically, we build a master-worker setup using AWS Lambda as the source of our workers, implement a parallel optimization algorithm to solve a regularized logistic regression problem, and show that relative speedups up to 256 workers and efficiencies above 70% up to 64 workers can be expected. We also identify possible algorithmic and system-level bottlenecks, propose improvements, and discuss the limitations and challenges in realizing these improvements.

研究の動機と目的

• サーバessランタイムを用いた汎用的大規模最適化問題の実現可能性を調査すること。
• サーバessプラットフォーム上での長期間にわたる状態保持型最適化アルゴリズムにおける状態管理とワーカーの遅延（ストラグル）の課題を解決すること。
• AWS Lambdaをワーカーとして用いた分散ADMM環境における性能スケーラビリティと効率性を評価すること。
• サーバessベースの最適化におけるアルゴリズム的およびシステムレベルのボトルネックを特定し、改善策を提案すること。

提案手法

• マスタはマネージドマルチコアサーバーで実行され、ワーカーはAWS Lambda関数として実装されるマスターワーカーアーキテクチャをデプロイすること。
• 正則化付きロジスティック回帰問題を分散的に解くために、同期並列ADMMを実装すること。
• マスタとワーカー間の通信にポイントツーポイントメッセージ渡しを用い、状態の永続化は外部で管理すること。
• 通信オーバーヘッドを最小限に抑えるためにスター型ネットワークトポロジーを採用し、負荷分散を確保すること。
• コールドスタート遅延、計算時間、ワーカーの応答性をモニタリングし、性能ボトルネックを特定すること。
• ワーカーのタイムアウトを処理し、イテレーション間での状態の一貫性を保証するためのフェイルセーフ設計パターンを適用すること。

実験結果

リサーチクエスチョン

• RQ1 AWS Lambdaのようなサーバessランタイムを用いて、大規模かつ状態保持型の最適化問題を効果的に解くことは可能か？
• RQ2 サーバessワーカーを分散ADMMに用いる場合の性能限界とスケーラビリティ特性は何か？
• RQ3 コールドスタート遅延とワーカーの遅延が、サーバessプラットフォーム上での同期並列最適化の効率性にどのように影響するか？
• RQ4 通信オーバーヘッドやストラグル効果といったボトルネックを軽減するためのアルゴリズム的およびシステムレベルの改善策は何か？

主な発見

• 分散ADMM環境において、256ワーカーを用いることで最大256倍の相対的高速化が達成された。
• 64ワーカーまで使用した場合でも並列効率が70%以上を維持しており、テストされた構成において強いスケーラビリティが示された。
• コールドスタート遅延は計算時間に対して常に低く抑えられており、64ワーカーまでで顕著な性能劣化は観察されなかった。
• ワーカーの応答性が高く、顕著なストラグルは発生しなかった—10%未満のイテレーションで、遅延上位10%のワーカーが1つも含まれていなかった。
• 決定ベクトルの次元d=10,000では通信オーバーヘッドが無視できる程度であったが、d>80,000になるとボトルネックとなるようになった。
• インboundネットワーク接続の欠如と、AllReduceなどの集約通信プリミティブの不在により、MPIのような従来のHPCパターンの利用が制限される。