[論文レビュー] Tight Bounds for Parallel Randomized Load Balancing

Christoph Lenzen, Roger Wattenhofer|arXiv (Cornell University)|Feb 26, 2011

Distributed systems and fault tolerance参考文献 35被引用数 27

ひとこと要約

本稿では、$ \log^{*}n + \mathcal{O}(1)$ラウンドで最大バケツ負荷が2に達する、適応的で対称的な並列アルゴリズムを提示している。このアルゴリズムは$ \mathcal{O}(n)$メッセージを用いる。同じメッセージ制約および対称性制約下で、時間計算量の下界が$(1-o(1))\log^{*}n$であることも確立されており、新しい通信ベースの証明技法により、境界のタイトさが示されている。

ABSTRACT

We explore the fundamental limits of distributed balls-into-bins algorithms. We present an adaptive symmetric algorithm that achieves a bin load of two in log* n+O(1) communication rounds using O(n) messages in total. Larger bin loads can be traded in for smaller time complexities. We prove a matching lower bound of (1-o(1))log* n on the time complexity of symmetric algorithms that guarantee small bin loads at an asymptotically optimal message complexity of O(n). For each assumption of the lower bound, we provide an algorithm violating it, in turn achieving a constant maximum bin load in constant time. As an application, we consider the following problem. Given a fully connected graph of n nodes, where each node needs to send and receive up to n messages, and in each round each node may send one message over each link, deliver all messages as quickly as possible to their destinations. We give a simple and robust algorithm of time complexity O(log* n) for this task and provide a generalization to the case where all nodes initially hold arbitrary sets of messages. A less practical algorithm terminates within asymptotically optimal O(1) rounds. All these bounds hold with high probability.

研究の動機と目的

• 有界メッセージ複雑性下での対称的・非適応的並列ボールインバケツアルゴリズムの上界と下界のギャップを埋めること。
• 協調が並列的で、バケツが匿名であるような分散システムにおける負荷バランシングの根本的限界を確立すること。
• 同じ制約下で、適応的性が非適応的スキームに比べて著しく高速な収束を可能にすることを示すこと。
• バケツラベル付けやメッセージ数などのさまざまな仮定下でのボールインバケツ問題の並列複雑性を完全に分類すること。
• 全結合ネットワークにおける実用的負荷バランシング問題に結果を適用すること。このネットワークでは$n$ノードがそれぞれ最大$n$メッセージを送受信する。

提案手法

• ボールが反復的にランダムなバケツに接触し、階層的構造を介して協調することで負荷の不均衡を低減する、適応的対称アルゴリズム（$\mathcal{A}(l)$）を提案する。
• 再帰的協調メカニズムを用い、コーディネータを備えたバケツが$\ell(b)$個のバケツを担当し、ボールは$\ell(b)$値が最大のバケツを選択することで負荷を最小化する。
• 二段階アプローチを採用する：まず、確率的メッセージ交換により一部のバケツにコーディネータが割り当てられる。次に、ボールはコーディネータのフィードバックを用いて低負荷バケツを選択する。
• チェルノフの不等式と集中不等式を用いてメッセージ数と失敗確率を制限し、高確率保証を達成する。
• 情報収集や故障耐性ではなく、通信量全体に基づく新しい通信量ベースの下界証明技法を導入する。
• 結果を$\omega(n)$メッセージのケースに一般化し、メッセージ制約を緩和することで定数時間アルゴリズムを可能にする。

実験結果

リサーチクエスチョン

• RQ1 有界メッセージ数（$\mathcal{O}(n)$）の下で、定数バケツ負荷を保証する対称的適応的アルゴリズムが達成可能な最小時間計算量は何か？
• RQ2 バケツの匿名性が並列負荷バランシングの根本的限界にどのように影響するか？
• RQ3 同じメッセージおよび対称性制約下で、適応的性が非適応的スキームに比べて時間計算量を著しく低減できるか？
• RQ4 並列乱択負荷バランシングにおいて、低バケツ負荷を達成する際のメッセージ複雑度と時間複雑度のトレードオフは何か？
• RQ5 理論的結果は、高並列性および帯域制限のある実世界の分散システムにどのように応用できるか？

主な発見

• 適応的対称アルゴリズムは、$\log^{*}n + \mathcal{O}(1)$ラウンドで最大バケツ負荷2を達成し、$\mathcal{O}(n)$メッセージを用いる。これは理論的下界と一致する。
• 対称的アルゴリズムに$\mathcal{O}(n)$メッセージを用いる場合、$(1-o(1))\log^{*}n$の一致する下界が証明され、アルゴリズムが漸近的に最適であることが示された。
• 下界は情報収集や故障耐性ではなく、通信量制約に起因しており、これに伴い新しい証明技法の導入が必要であった。
• バケツがグローバルにラベル付けされている場合、最大バケツ負荷3の定数時間アルゴリズムが$\mathcal{O}(n)$メッセージで存在する。これは、バケツの匿名性が下界の成立に不可欠であることを示している。
• $\omega(n)$メッセージの場合は、$\mathcal{O}(n\log^{(r)}n)$メッセージを用い、$r + \mathcal{O}(1)$ラウンドで$\mathcal{O}(1)$バケツ負荷を達成する定数時間アルゴリズムが可能である（任意の$r \in \mathbb{N}$に対して）。
• 結果はネットワーク負荷バランシング問題に応用された：$n^2$メッセージが高確率で$\mathcal{O}(\log^{*}n)$ラウンドで配信可能であり、理論的境界と一致する。