[論文レビュー] Amdahl's and Gustafson-Barsis laws revisited

Andrzej Karbowski|ArXiv.org|Sep 6, 2008

Advanced Queuing Theory Analysis被引用数 5

ひとこと要約

この論文は、Gustafson-Barsisの法則がAmdahlの法則の根本的な代替理論ではなく、プロセッサ数に関係なく逐次部分の実行時間が一定であるという仮定の下で、Amdahlの法則から直接数学的に導出できるものであることを示している。主な貢献は、Gustafsonの実験で観察された改善されたスケーリング（プロセッサ数に比例して線形に近づく）が、問題サイズとプロセッサ数を同時にスケーリングする場合、Amdahlの法則で説明可能であることを示したことであり、並列計算分野における長年の誤解を解消している。

ABSTRACT

The paper presents a simple derivation of the Gustafson-Barsis law from the Amdahl's law. In the computer literature these two laws describing the speedup limits of parallel applications are derived separately. It is shown, that treating the time of the execution of the sequential part of the application as a constant, in few lines the Gustafson-Barsis law can be obtained from the Amdahl's law and that the popular claim, that Gustafson-Barsis law overthrows Amdahl's law is a mistake.

研究の動機と目的

• 並列計算分野でしばしば競合する理論と見なされるAmdahlの法則とGustafson-Barsisの法則の関係を明確化すること。
• Gustafson-Barsisの法則がAmdahlの法則を覆すか無効にするという広く信じられている信念に疑問を呈すること。
• Gustafsonの実験で観察された改善されたスケーリング傾向（プロセッサ数に近づく）が、問題サイズとプロセッサ数を同時にスケーリングする場合、Amdahlの法則で説明可能であることを示すこと。
• 逐次実行時間の一定という仮定が、Amdahlの法則からGustafson-Barsisの法則を導出するのに十分であることを示すこと。

提案手法

• プロセッサ数pの異なる場合でも逐次実行時間T_s(n)が一定であると仮定し、Amdahlの法則からGustafson-Barsisの法則を導出する。
• 出発点として、標準的なAmdahlの式S(n,p) = 1 / [β(n,1) + (1−β(n,1))/p] を用いる。
• β(n,1)·T(n,1) = β(n,p)·T(n,p) という恒等式を用い、β(n,1) を β(n,p) と時間比 T(n,p)/T(n,1) で表す。
• 得られた式を代数的に変形し、スケーリングS(n,p)を導出することで、S(n,p) = p − (p−1)·β(n,p) を得る。これはGustafson-Barsisの式と一致する。
• 問題サイズnの増大に伴うβ(n,1)の挙動を分析し、逐次時間一定で並列時間nに比例して増加する場合、β(n,1) → 0 であることを示す。
• このような条件下で、AmdahlのスケーリングS(n,p) → p（n → ∞のとき）となることを示し、Gustafsonが主張する線形スケーリングと一致することを確認する。

実験結果

リサーチクエスチョン

• RQ1 Gustafson-Barsisの法則は、新たな仮定を導入せずに、Amdahlの法則から直接導出可能か？
• RQ2 Gustafson-Barsisの法則がAmdahlの法則を上回るとする主張は論理的に妥当か、それともモデルの根拠となる仮定の誤解に起因するか？
• RQ3 問題サイズとプロセッサ数を増加させた実験で、なぜスケーリングがpに近づくのか？これはAmdahlの法則で説明可能か？
• RQ4 逐次実行時間の一定が、二つの法則を統合する上で果たす役割は何か？

主な発見

• Gustafson-Barsisの法則は、プロセッサ数pに関係なく逐次実行時間T_s(n)が一定であるという仮定の下で、Amdahlの法則から数学的に導出可能である。
• Gustafson-Barsisの法則がAmdahlの法則を無効にしたり置き換えたりするという一般的な信念は誤りであり、仮定の誤解に起因する。
• 問題サイズnを増大させ、逐次時間T_s(n)を一定に保つと、Amdahlの法則における逐次部分の割合β(n,1)はn → ∞のとき0に近づき、S(n,p) → p となる。
• Gustafsonの実験で観察された線形スケーリング（スケーリングがプロセッサ数に近づく）は、問題サイズとプロセッサ数を同時にスケーリングする場合、Amdahlの法則で完全に説明可能である。
• Gustafsonの元々の定式化における実行時間の正規化（1に固定）は不要であり、不必要に複雑化する。より自然な仮定である「逐次時間一定」のもとでも、結果は成立する。