[論文レビュー] Desynchronization and Speedup in an Asynchronous Conservative Parallel Update Protocol

A. Kolakowska, M. A. Novotny|ArXiv.org|Sep 16, 2004

Parallel Computing and Optimization Techniques参考文献 30被引用数 3

ひとこと要約

本論文は、非平衡表面成長理論を用いて、リング型トポロジーにおける非同期的保守的PDESアルゴリズムの仮想時間ホライズン（VTH）をモデル化し、非同期性の増大が部分線形的であり、利用度が上界で有界であることを示し、スケーラビリティを裏付ける。この手法により、スループットとメモリ使用量の理論的上限が明らかになり、制御可能な非同期性を有するメモリ効率の良いPDESアルゴリズムの設計が可能になる。

ABSTRACT

In a state-update protocol for a system of $L$ asynchronous parallel processes that communicate only with nearest neighbors, global desynchronization in operation times can be deduced from kinetic roughening of the corresponding virtual-time horizon (VTH). The utilization of the parallel processing environment can be deduced by analyzing the microscopic structure of the VTH. We give an overview of how the methods of non-equilibrium surface growth (physics of complex systems) can be applied to uncover some properties of state update algorithms used in distributed parallel discrete-event simulations (PDES). In particular, we focus on the asynchronous conservative PDES algorithm in a ring communication topology. The time evolution of its VTH is simulated numerically as asynchronous cellular automaton whose update rule corresponds to the update rule followed by this algorithm. We give theoretical estimates of the performance as a function of $L$ and the load per processor, i.e., approximate formulas for the mean speedup and for the desynchronization. It is established that, for a given simulation size, there is a theoretical upper bound for the desynchronization and a theoretical non-zero lower bound for the utilization. The new approach to performance studies, outlined in this chapter, is particularly useful in the search for the design of a new-generation of algorithms that would efficiently carry out an autonomous or tunable synchronization.

研究の動機と目的

• 非平衡表面成長モデルを用いて、リング型通信トポロジーにおける非同期的保守的PDESの性能を分析すること。
• プロセッサ数の増加に伴い、保守的PDESアルゴリズムが効率的にスケーリングするかどうかを特定すること。
• 仮想時間ホライズン（VTH）の統計的性質に基づき、メモリ使用量とスループットの理論的上限を導出すること。
• VTH幅と非同期性を制御することにより、調整可能または自律的な同期メカニズムの設計を可能にすること。
• アプリケーション固有のベンチマークに依存せずに、PDESアルゴリズムの効率を評価・改善するための物理学的インスピレーションに基づくフレームワークを提供すること。

提案手法

• 各セルがプロセッサのローカル仮想時間（LVT）を表す非同期セルオートマトンとして、仮想時間ホライズン（VTH）の時間的進化をシミュレートする。
• 保守的PDESアルゴリズムの更新ルールを、因果関係制約とメッセージ渡しを反映したVTH上の確率的成長規則としてモデル化する。
• VTHの運動的粗さを分析し、非同期性とプロセッサ当たりのメモリ要件を定量化する。
• 非平衡表面成長のスケーリング則を用いて、特に最小負荷および一般の有限負荷ケースについて、利用度とスループットの理論的推定値を導出する。
• 保守的アルゴリズムの挙動をオプティミスティックPDESと比較し、後者では制御不能なVTH幅の増大により非同期性が無限大に発散することを示す。
• VTHを診断ツールとして用い、性能とメモリ使用量の上界を予測し、アルゴリズム設計とハードウェア評価に情報を提供する。

実験結果

リサーチクエスチョン

• RQ1 リング型トポロジーを持つ非同期的保守的PDESアルゴリズムにおいて、仮想時間ホライズン（VTH）はどのように進化するか？
• RQ2 有限系における保守的PDESのメモリ使用量と非同期性の理論的上限は何か？
• RQ3 プロセッサ数の増加に伴い、保守的PDESアルゴリズムは利用度とスループットの観点からスケーラブルか？
• RQ4 VTH幅は時間とともにどのように増大し、これはプロセッサ当たりのメモリ要件にどのような意味を持つのか？
• RQ5 VTHモデルを用いて、調整可能または自律的な同期メカニズムをPDESで設計できるか？

主な発見

• 保守的PDESアルゴリズムは、リング型トポロジーにおいてスケーラブルな性能を示し、プロセッサ数の増加に伴って利用度がゼロでない下限で有界である。
• VTH幅として測定される非同期性は部分線形的に増大し、有限系では有界のままであり、これによりプロセッサ当たりのメモリ要件が発散しないことが示された。
• スループットの理論的上限が導出され、理想状態では達成可能であることが示され、実世界の実装のベンチマークとしての役割を果たす。
• 保守的ケースとは対照的に、オプティミスティックPDESアルゴリズムではVTH幅がシミュレーション時間の平方根に比例して無限大に発散し、無限大のメモリ要件を示唆する。
• VTHモデルにより、速度向上（式(12)-(13)）やメモリ要請（式(17)）といった明示的な診断式が導出可能である。
• VTH幅を制御することにより非同期性とメモリ使用量を調整できるため、制約付き保守的PDESや小手の世界的強化リングトポロジーといった新規アルゴリズムの設計を支援する。