[論文レビュー] Distributed Dispatching in the Parallel Server Model

Guy Goren, Shay Vargaftik+1 more|arXiv (Cornell University)|Jan 1, 2020

Cloud Computing and Resource Management被引用数 1

ひとこと要約

本稿では、他のディスpatcherの存在を明示的に考慮することで群衆行動を回避する、マルチディスpatchャー並列サーバーシステム向けの新しい負荷分散ポリシーであるTidal Water Filling（TWF）を提案する。タイムスタンプ付きの分散通信を通じて完全または部分的なキュー長情報を統合することで、TWFは応答時間、特に尾遅延を顕著に短縮する。LSQ や 2つの選択肢のうちの2つという既存のポリシーを上回り、高負荷下でも優れた性能を発揮する。

ABSTRACT

With the rapid increase in the size and volume of cloud services and data centers, architectures with multiple job dispatchers are quickly becoming the norm. Load balancing is a key element of such systems. Nevertheless, current solutions to load balancing in such systems admit a paradoxical behavior in which more accurate information regarding server queue lengths degrades performance due to herding and detrimental incast effects. Indeed, both in theory and in practice, there is a common doubt regarding the value of information in the context of multi-dispatcher load balancing. As a result, both researchers and system designers resort to more straightforward solutions, such as the power-of-two-choices to avoid worst-case scenarios, potentially sacrificing overall resource utilization and system performance. A principal focus of our investigation concerns the value of information about queue lengths in the multi-dispatcher setting. We argue that, at its core, load balancing with multiple dispatchers is a distributed computing task. In that light, we propose a new job dispatching approach, called Tidal Water Filling, which addresses the distributed nature of the system. Specifically, by incorporating the existence of other dispatchers into the decision-making process, our protocols outperform previous solutions in many scenarios. In particular, when the dispatchers have complete and accurate information regarding the server queue lengths, our policies significantly outperform all existing solutions.

研究の動機と目的

• 正確なキュー長情報が群衆行動を引き起こすため、負荷分散のパラドックスを解消すること。
• 調整に起因するボトルネックに陥ることなく、分散情報を利用できる負荷分散ポリシーを設計すること。
• 適切に調整された場合、サーバーのキュー状態に関する完全な情報を用いることで、システム性能を顕著に向上させられることを示すこと。
• 通信コスト制約がある実世界のシステムにおいて、部分的または疎な情報がどのように効率的に利用できるかを調査すること。

提案手法

• ディスパッチャが共有されたサーバーのキュー状態の知識に基づいて共同で最適化するようにモデル化したTidal Water Filling（TWF）ポリシーを提唱する。
• ディスパッチャとサーバーがキュー情報のタイムスタンプ付きローカル配列を維持する、Local uTWF（L-uTWF）およびuTWFtsを導入する。
• タイムスタンプ処理と配列のマージを用いて、通信オーバーヘッドを最小限に抑えつつ、ディスパッチャとサーバー間で最新で一貫性のあるキュー長データを維持する。
• リンク確立時にキュー状態情報のマージを実行する分散通信プロトコルを採用し、スケーラブルかつタイムリーな更新を実現する。
• 応答時間のCCDFと尾遅延メトリクスを用いて、高負荷（ρ = 0.99）下での性能を評価する。
• 情報パラメータηを変化させながら、LSQ-Sample や JSQ(d) といった最先端のポリシーとTWFのバリエーションを比較する。

実験結果

リサーチクエスチョン

• RQ1 マルチディスパッチャーシステムにおいて、正確なキュー長情報が群衆行動を引き起こすことで負荷分散性能が劣化することがあるか？
• RQ2 調整に起因する性能損失を回避しながら、完全なキュー長情報を効果的に使用する方法はあるか？
• RQ3 部分情報設定下で、情報可用性（η）が増加するにつれてTWFの性能はどのようにスケーリングするか？
• RQ4 通信コスト制約下でも、タイムスタンプ付きの分散通信プロトコルが負荷分散性能を向上させられるか？
• RQ5 尾遅延とシステム利用度の観点から、TWFベースのポリシーはLSQ や 2つの選択肢のうちの2つといった既存手法と比べてどのように差がつくか？

主な発見

• ディスパッチャがサーバーのキュー長を完全に把握している場合、TWFは既知のあらゆる負荷分散ポリシーを大きく上回る性能を発揮する。
• 情報パラメータηが増加するにつれて応答時間が単調に改善され、正しい使い方をすれば情報の正確性が高くなるほど性能が向上することを示している。
• ディスパッチャとサーバーの両方でタイムスタンプ付きキュー情報を保持するuTWFtsは、L-uTWF や LSQ-Sample を上回り、特にη値が高い場合に顕著な優位性を示す。
• η = 0.1の段階でL-uTWFはすでにLSQ-Sampleと同等の性能を発揮しており、部分情報でも早期に利点が得られることを示している。
• LSQ-Sampleの性能はηの増加に伴い群衆行動が拡大することで劣化するが、TWFベースのポリシーは依然として頑健であり、性能を向上させる。
• 「不正確な情報が性能を向上させる可能性がある」という直感に反する主張を否定し、適切な調整により正確な情報が有益であることが示された。