[論文レビュー] Elasticutor: Rapid Elasticity for Realtime Stateful Stream Processing

Li Wang, Tom Z. J. Fu+3 more|arXiv (Cornell University)|Nov 3, 2017

Advanced Database Systems and Queries参考文献 18被引用数 3

ひとこと要約

Elasticutorは、鍵の再パーティショニングではなく、オーバーロードされたエグゼキューターにCPUコアを動的に再割り当てすることで、グローバル同期を回避するエグゼキューター中心の迅速なスケーリング手法を提案する。実世界のワークロードにおいて、リソース中心の手法と比較して最大2倍のスループットと最大2桁の低遅延を達成する。

ABSTRACT

Elasticity is highly desirable for stream processing systems to guarantee low latency against workload dynamics, such as surges in data arrival rate and fluctuations in data distribution. Existing systems achieve elasticity following a resource-centric approach that uses dynamic key partitioning across the parallel instances, i.e. executors, to balance the workload and scale operators. However, such operator-level key repartitioning needs global synchronization and prohibits rapid elasticity. To address this problem, we propose an executor-centric approach, whose core idea is to avoid operator-level key repartitioning while implementing each executor as the building block of elasticity. Following this new approach, we design the Elasticutor framework with two level of optimizations: i) a novel implementation of executors, i.e., elastic executors, that perform elastic multi-core execution via efficient intra-executor load balancing and executor scaling and ii) a global model-based scheduler that dynamically allocates CPU cores to executors based on the instantaneous workloads. We implemented a prototype of Elasticutor and conducted extensive experiments. Our results show that Elasticutor doubles the throughput and achieves an average processing latency up to 2 orders of magnitude lower than previous methods, for a dynamic workload of real-world applications.

研究の動機と目的

• ストリーム処理におけるリソース中心のスケーリングメカニズムで生じるグローバル同期によるパフォーマンスボトルネックを解消すること。
• ステート移行とルーティング更新に起因する鍵空間再パーティショニングによる数秒の遅延を克服すること。
• オペレータレベルの鍵パーティショニングと動的リソースプロビジョニングを分離することで、迅速で低遅延のスケーリングを実現すること。
• 効率的なイントラエグゼキューター負荷分散と動的コアスケーリングをサポートするフレームワークを設計すること。
• ワークロードの再バランス時にステートの一貫性を保ちながら、移行および通信オーバーヘッドを最小限に抑えること。

提案手法

• 割り当てられたCPUコア間での動的負荷分散を実行し、コアの追加・削除に対しても効率的にスケーリングするエラスティックエグゼキューターを導入する。
• リアルタイムのワークロードメトリクスに基づいてCPUコアをエグゼキューターに動的に割り当てるモデルベースの動的スケジューラを実装する。
• 鍵空間のバインディングをリソース割り当てから分離し、エグゼキューターが固定された鍵サブスペースを維持し、ステート移行を回避する。
• コア再割り当て時のエグゼキューター間通信を最小限に抑えるために、軽量なリモートタスク協調メカニズムを用いる。
• エグゼキューター間のステート移動を避けることで、計算ローカリティを最適化し、リモートデータ転送とステート移行を削減する。
• Apache Stormにプロトタイプをデプロイし、合成的および実世界の株式取引ワークロードを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 エグゼキューター中心のアプローチは、ステートフルストリーム処理におけるスケーリング時におけるグローバル同期の必要性を排除できるか？
• RQ2 動的コア再割り当ては、従来の鍵空間再パーティショニングと比較して、遅延とスループットの点でどのように異なるか？
• RQ3 モデルベースのスケジューラーは、リソース利用効率の向上とスケジューリングオーバーヘッドの低減にどの程度寄与するか？
• RQ4 ステート移行とリモートデータ転送の削減が、システムのパフォーマンスとスケーラビリティに与える影響は何か？
• RQ5 動的で偏りのあるワークロード下でも、フレームワークは低遅延と高スループットを維持できるか？

主な発見

• Elasticutorは、実世界の株式取引ワークロードにおいて、従来のリソース中心のスケーリング手法と比較してスループットを2倍に向上させる。
• フレームワークは、従来のアプローチと比較して平均処理遅延を最大2桁低く達成する。
• Elasticutorにおけるステート移行率は、ナイーブなエラスティックコア（naive-EC）アプローチと比較して5倍低い。
• Elasticutorにおけるリモートデータ転送量は、naive-ECと比較して10倍低い。これにより、エグジセーター間通信に使用可能なネットワーク帯域幅が解放される。
• スループットはクラスタサイズにほぼ線形にスケーリングし、再割り当てあたりのスケジューリングコストは数ミリ秒程度で安定している。
• システムはミリ秒単位で迅速なスケーリングを達成し、通常は数秒の遅延を伴う鍵再パーティショニング手法を回避する。