[論文レビュー] A New Interpretation of Amdahl's Law and Geometric Scalability

Neil J. Günther|arXiv (Cornell University)|Oct 17, 2002

Parallel Computing and Optimization Techniques参考文献 16被引用数 9

ひとこと要約

本稿は、キューイング理論を用いてアムダールの法則とマルチプロセッシング要因（MPF）モデルを再解釈し、アムダールの法則が物理的現実性を持つバスモデルにおける同期キューイングに対応するのに対し、MPFは、物理的に不実在の非線形応答時間を生じるコーシアンサーバー・モデルから生じることを示している。主な貢献は、MPFが大規模マルチプロセッサにおいて物理的に不適切な挙動を示すため、その使用を慎重にするべきであると警告するとともに、現実のシステムダイナミクス下で、アムダールの法則がより正確であると検証することにある。

ABSTRACT

The multiprocessor effect refers to the loss of computing cycles due to processing overhead. Amdahl's law and the Multiprocessing Factor (MPF) are two scaling models used in industry and academia for estimating multiprocessor capacity in the presence of this multiprocessor effect. Both models express different laws of diminishing returns. Amdahl's law identifies diminishing processor capacity with a fixed degree of serialization in the workload, while the MPF model treats it as a constant geometric ratio. The utility of both models for performance evaluation stems from the presence of a single parameter that can be determined easily from a small set of benchmark measurements. This utility, however, is marred by a dilemma. The two models produce different results, especially for large processor configurations that are so important for today's applications. The question naturally arises: Which of these two models is the correct one to use? Ignoring this question merely reduces capacity prediction to arbitrary curve-fitting. Removing the dilemma requires a dynamical interpretation of these scaling models. We present a physical interpretation based on queueing theory and show that Amdahl's law corresponds to synchronous queueing in a bus model while the MPF model belongs to a Coxian server model. The latter exhibits unphysical effects such as sublinear response times hence, we caution against its use for large multiprocessor configurations.

研究の動機と目的

• マルチプロセッサの容量予測において、長年にわたり議論されてきたアムダールの法則とMPFモデルの選択のジレンマを解消すること。
• キューイング理論を用いて両モデルの物理的で動的解釈を提供し、その妥当性と限界を評価すること。
• MPFが大規模な構成下で物理的に不実在の効果（特に非線形応答時間）を生じる理由を特定すること。
• 同期キューイングに基づくアムダールの法則が、現実のマルチプロセッサスケーラビリティモデリングにおいてMPFよりも適切であると主張すること。
• キューイング遅延（α）と整合性ペナルティ（β）の両方を考慮する2パラメータ拡張版のアムダールの法則を提唱すること。

提案手法

• 有限のリクエスト数を持つリペアマンモデルにおける同期キューイングとして、アムダールの法則をキューイング理論でモデル化する。
• MPFモデルを、サービス分散が指数分布より小さい（非指数的）コーシアンサーバーを持つM/G/1キューとして分析し、非線形スケーリングを示唆する。
• プロセッサ数を増加させた場合の応答時間と利用度の挙動を比較することで、両モデルの物理的妥当性を検証する。
• MPFモデルの幾何級数的減少が、すべての段階を訪問する確率を低下させることで、物理的に不実在の非線形応答時間を生じることを示す。
• キューイング遅延（α）と整合性ペナルティ（β）を両方含む2パラメータモデルC(α,β,p)を提唱し、これにより逆走スループット（C→1/p as p→∞）を捉えることができる。
• β=0のとき、2パラメータモデルがアムダールの法則に簡約されることを示し、物理的解釈の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜアムダールの法則とMPFモデルは、大規模マルチプロセッサ構成において予測が著しく異なるのか？
• RQ2 アムダールの法則とMPFモデルの挙動を説明する背後にあるキューイングダイナミクスは何か？
• RQ3 MPFモデルは、大規模マルチプロセッサシステムにおいて物理的に現実的な応答時間挙動を示すのか？
• RQ4 アムダールの法則を拡張することで、より正確で物理的根拠を持つマルチプロセッサスケーラビリティモデルを導出可能か？
• RQ5 MPFの背後にあるコーシアンサーバー・モデルが、なぜ物理的に不実在の非線形応答時間を生じるのか？

主な発見

• アムダールの法則は、バスとプロセッサの利用度を明示的に扱うバスモデルにおける同期キューイングに対応し、物理的に現実的である。
• MPFモデルは、すべての段階を訪問する確率が減少するコーシアンサーバー・モデルから生じており、物理的に不実在の非線形応答時間を生じる。
• MPFモデルの「失われた作業」が幾何級数的であるという仮定により、プロセッサ数が増えると利用度が低下するが、実際のシステムではオーバーヘッドが増加するため、これは観察された挙動と矛盾する。
• 2パラメータモデルC(α,β,p)はアムダールの法則を一般化し、逆走スループット（C→1/p as p→∞）を捉えることができ、これはアムダールの法則やMPFモデルでは実現できない。
• 整合性ペナルティがゼロ（β=0）のとき、2パラメータモデルはアムダールの法則に簡約され、従来のモデルと整合性があることが確認される。
• 本稿は、MPFモデルが物理的に不実在の非線形応答時間挙動を示すため、大規模マルチプロセッサ構成には使用を避けるべきであると警告している。