[論文レビュー] Load Balancing for Skewed Streams on Heterogeneous Cluster

Muhammad Anis Uddin Nasir, Hiroshi Horii+5 more|arXiv (Cornell University)|May 25, 2017

Cloud Computing and Resource Management参考文献 47被引用数 4

ひとこと要約

本論文は、歪んだワークロードを伴う異種コンピューティングクラスタ上で分散ストリーム処理エンジンのための新しい負荷分散戦略である一貫性のあるグループ化（CG）を提案する。容量感知型仮想ワーカーと一貫性ハッシュを用いることで、CGは処理要素間で動的に負荷をバランスさせる。これにより、キーグルーピングに比べて遅延が3.44倍低減され、スループットが2倍向上する一方で、メモリオーバーヘッドは低く抑えられる。

ABSTRACT

Streaming applications frequently encounter skewed workloads and execute on heterogeneous clusters. Optimal resource utilization in such adverse conditions becomes a challenge, as it requires inferring the resource capacities and input distribution at run time. In this paper, we tackle the aforementioned challenges by modeling them as a load balancing problem. We propose a novel partitioning strategy called Consistent Grouping (CG), which enables each processing element instance (PEI) to process the workload according to its capacity. The main idea behind CG is the notion of small, equal-sized virtual workers at the sources, which are assigned to workers based on their capacities. We provide a theoretical analysis of the proposed algorithm and show via extensive empirical evaluation that our proposed scheme outperforms the state-of-the-art approaches, like key grouping. In particular, CG achieves 3.44x better performance in terms of latency compared to key grouping.

研究の動機と目的

• 異種コンピューティングクラスタ上で実行される分散ストリーム処理エンジンにおける、非効率な負荷分散の課題に対処すること。
• 既存のグループ化戦略（キーグルーピング（KG）とシャッフルグループ（SG））の限界を克服すること。これらはリソースの非均一性と入力の歪みを考慮していない。
• 軽量でステートフルなグループ化戦略を設計し、公平な負荷分散を実現するとともに、メモリ使用量と集約コストを最小限に抑えること。
• 中央集権的制御やランタイム統計の収集を必要とせずに、変化するクラスタリソース容量に動的に適応できること。
• 実世界の展開（例：Apache Storm）において、均一かつ非均一な環境下でも最適なリソース利用率とスケーラビリティを達成すること。

提案手法

• ストリームソースレベルに仮想ワーカーを導入し、各仮想ワーカーをその相対的容量に基づいて物理ワーカーに割り当てる。
• キーハッシュを一貫性ハッシュに置き換え、ワーカー容量の変更に伴うスムーズな再バランスを実現する。
• 物理ワーカーのリソース容量（CPU、メモリ）に比例して仮想ワーカーを割り当てることで、容量感知型の負荷分散を実現する。
• ランダム選択のパワーを活用し、仮想ワーカーの割り当てにおける不均衡を最小限に抑え、負荷分散の分散を低減する。
• 理論的分析を通じて、不均衡比を上限に保つことを確認し、動的条件下でも予測可能なパフォーマンスを確保する。
• ステートフルおよびステートレスなストリーミングワークロードの両方をサポートするように実装し、最小限のステートと協調コストを維持する。

実験結果

リサーチクエスチョン

• RQ1 入力データが歪んでおり、クラスタリソースが非均一な状況下で、分散ストリーム処理エンジンにおける負荷分散を効果的に実現する方法は何か？
• RQ2 仮想ワーカーを活用するアプローチは、従来のキーグルーピングやシャッフルグループに比べて、負荷分散の公平性をどの程度向上させ得るか？
• RQ3 中央集権的監視や協調制御を必要としない、軽量で分散型のグループ化戦略は、変化するリソース容量に動的に適応できるか？
• RQ4 提案された一貫性のあるグループ化（CG）スキームは、実世界の展開において、エンドツーエンドの遅延、スループット、メモリ使用量にどのような影響を与えるか？
• RQ5 CPUのスロットリングや変動するワーカー容量といった動的リソース変更の下で、このスキームはどのように動作するか？

主な発見

• 一貫性のあるグループ化（CG）は、異種コンピューティングクラスタ環境下でキーグルーピングに比べてエンドツーエンドの遅延を3.44倍低減する。
• CGは、Apache Storm展開における実世界のデータセットにおいて、キーグルーピングに比べて最大2倍の高いスループットを達成する。
• 均一なクラスタでは、CGはシャッフルグループの14％に比べて低めのメモリオーバーヘッド（8.5％）を維持しながら、遅延とスループットの点でキーグルーピングを著しく上回る。
• CGはCPUスロットリングなどの動的リソース変更に対しても効率的に適応し、安定したパフォーマンスと低い不均衡を維持する。
• 理論的分析により、CGが不均衡を上限に保つことを確認し、ワーカー間での予測可能で公平な負荷分散を実現することが裏付けられた。
• 合成および実世界のデータセット（例：TWデータセット）を用いた実験的評価により、CGが最適なメモリ使用量と優れたスケーラビリティを提供することが確認された。