[論文レビュー] Lossy Bulk Synchronous Parallel Processing Model for Very Large Scale Grids

Elankovan Sundararajan, Aaron Harwood+1 more|ArXiv.org|Nov 20, 2006

Distributed and Parallel Computing Systems参考文献 29被引用数 5

ひとこと要約

本稿では、パケット損失を伴うにもかかわらず、UDPを用いて高速通信を実現することで、非常に大規模なグリッドにおけるパフォーマンス最適化を図るLossy Bulk Synchronous Parallel (L-BSP)モデルを提案する。パケット損失を基本的パrameterとしてモデル化し、パケットの複数コピー送信により、最適なコピー数を用いることで、特に帯域幅が大きく遅延が高いネットワーク環境においてTCPに比べて顕著なスループット向上が達成されることを実証した。

ABSTRACT

The performance of a parallel algorithm in a very large scale grid is significantly influenced by the underlying Internet protocols and inter-connectivity. Many grid programming platforms use TCP due to its reliability, usually with some optimizations to reduce its costs. However, TCP does not perform well in a high bandwidth and high delay network environment. On the other hand, UDP is the fastest protocol available because it omits connection setup process, acknowledgments and retransmissions sacrificing reliable transfer. Many new bulk data transfer schemes using UDP for data transmission such as RBUDP, Tsunami, and SABUL have been introduced and shown to have better performance compared to TCP. In this paper, we consider the use of UDP and examine the relationship between packet loss and speedup with respect to the number of grid nodes. Our measurement suggests that packet loss rates between 5%-15% on average are not uncommon between PlanetLab nodes that are widely distributed over the Internet. We show that transmitting multiple copies of same packet produces higher speedup. We show the minimum number of packet duplication required to maximize the possible speedup for a given number of nodes using a BSP based model. Our work demonstrates that by using an appropriate number of packet copies, we can increase performance of parallel program.

研究の動機と目的

• 広域ネットワーク（WAN）における通信オーバーヘッドが引き起こす、非常に大規模グリッド（VLSG）におけるパフォーマンスボトルネックを解消すること。
• 特に帯域幅が大きく遅延が高い環境において、パケット損失を伴うUDPベース通信が並列アルゴリズムのパフォーマンスに与える影響を調査すること。
• パケット損失確率をコアパrameterとして組み込むことで、並列プログラムの最適設計を導く計算モデルを開発すること。
• 与えられたグリッドノード数に対して、スループットを最大化するために必要な最小のパケットコピー数を特定すること。
• 5–15％のパケット損失が生じる状況下でも、パケット複製などの軽量な信頼性メカニズムを用いることでUDPのパフォーマンス向上を実証すること。

提案手法

• パケット損失確率を基本的パラメータとして組み込むことで、バッチ同期並列（BSP）モデルを拡張し、Lossy BSP（L-BSP）モデルを構築する。
• PlanetLabからの実測値を用いてUDPのパフォーマンスを特徴付け、分散ノード間の平均パケット損失率（5–15％）、ラウンドトリップ時間、帯域幅を評価する。
• L-BSPモデルを用いて、すべてのノードにデータを配布する全収集（all-gather）やループベースのデータ配布といった基本的な通信パターンを分析する。
• L-BSPモデルにおける通信コスト関数を導出する：$ t_{allgather} = [k\alpha + \beta](P-1)\hat{\rho}^k $、ここで$ \hat{\rho} $はパケット損失と複製を考慮した要因である。
• 送信コストと損失回復オーバーヘッドのバランスを取ることで、スループットを最大化するためのパケットコピー数の最適値を特定する。
• 実際のネットワーク条件を想定した標準的な並列アルゴリズム（例：all-gather）を用いてモデルを評価し、パフォーマンス向上の定量的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 UDPベース通信におけるパケット損失が、非常に大規模グリッドにおける並列アルゴリズムのパフォーマンスにどのように影響を与えるか？
• RQ2 さまざまなパケット損失率下で、スループットを最大化するために1メッセージあたりに送信すべきパケットコピー数の最適値は何か？
• RQ3 高帯域幅・高遅延ネットワーク環境において、UDPにパケット複製を適用した場合にL-BSPモデルが性能向上を的確に予測できるか？
• RQ4 パケット損失を変数として導入した場合、L-BSPモデルにおける通信コストは、従来のBSPモデルと比べてどのように異なるか？
• RQ5 過剰なオーバーヘッドを伴わずに、パケット複製によって得られるパフォーマンス向上の程度はどの程度か？

主な発見

• 広く分散したPlanetLabノード間では、5％から15％のパケット損失率が一般的であり、UDPベース通信に顕著な影響を及ぼす。
• 同じパケットを複数回送信することで、特に帯域幅と遅延が高い環境下で全体のスループットが向上する。
• L-BSPモデルは、送信コストと信頼性のトレードオフを的確に捉えており、最適な複製レベルの予測が可能である。
• 適切な数のパケットコピーを用いることで、高帯域幅・高遅延環境下ではTCPを上回るスループットが達成可能であることが示された。
• 一部の構成では効率が低い場合があるものの、大規模なノード数を有する環境では、有意義なスループット向上が達成可能であることがモデルで示された。
• 本研究は、遅延制約が厳しいパフォーマンス要求の高い並列アプリケーションにおいて、知的な複製戦略を組み合わせたUDPがTCPを上回ることを確認した。