[论文解读] Amdahl's and Gustafson-Barsis laws revisited

Andrzej Karbowski|ArXiv.org|Sep 6, 2008

Advanced Queuing Theory Analysis被引用 5

一句话总结

本文证明，古斯塔森-巴尔西斯定律并非阿姆达尔定律的根本替代方案，而是在顺序部分执行时间随处理器数量变化保持恒定的假设下，由阿姆达尔定律直接推导出的数学结果。其主要贡献在于表明，古斯塔森实验中观察到的改进加速比——接近与处理器数量线性匹配——当问题规模与处理器数量同步增长时，可用阿姆达尔定律加以解释，从而解决了并行计算文献中长期存在的误解。

ABSTRACT

The paper presents a simple derivation of the Gustafson-Barsis law from the Amdahl's law. In the computer literature these two laws describing the speedup limits of parallel applications are derived separately. It is shown, that treating the time of the execution of the sequential part of the application as a constant, in few lines the Gustafson-Barsis law can be obtained from the Amdahl's law and that the popular claim, that Gustafson-Barsis law overthrows Amdahl's law is a mistake.

研究动机与目标

• 澄清阿姆达尔定律与古斯塔森-巴尔西斯定律之间的关系，二者在并行计算中常被视为竞争理论。
• 挑战广泛存在的观点，即古斯塔森-巴尔西斯定律推翻或无效化了阿姆达尔定律。
• 证明在问题规模与处理器数量同步增长时，古斯塔森实验中观察到的加速比提升趋势，可用阿姆达尔定律加以解释。
• 表明顺序执行时间恒定的假设，足以从阿姆达尔定律推导出古斯塔森-巴尔西斯定律，而无需引入额外或冲突的假设。

提出的方法

• 通过假设顺序执行时间 T_s(n) 在不同处理器数量 p 下保持恒定，从阿姆达尔定律推导出古斯塔森-巴尔西斯定律。
• 以标准阿姆达尔公式 S(n,p) = 1 / [β(n,1) + (1−β(n,1))/p] 作为起点。
• 应用恒等式 β(n,1)·T(n,1) = β(n,p)·T(n,p)，将 β(n,1) 表示为 β(n,p) 与时间比 T(n,p)/T(n,1) 的函数。
• 对所得方程进行代数变形，分离出加速比 S(n,p)，得出 S(n,p) = p − (p−1)·β(n,p)，该结果与古斯塔森-巴尔西斯公式一致。
• 分析当问题规模 n 增大时 β(n,1) 的行为，表明当顺序时间恒定且并行时间随 n 增长时，β(n,1) → 0。
• 证明在此条件下，阿姆达尔加速比 S(n,p) → p（当 n → ∞ 时），与古斯塔森所声称的线性加速行为一致。

实验结果

研究问题

• RQ1 古斯塔森-巴尔西斯定律能否在不引入新假设的前提下，直接从阿姆达尔定律推导得出？
• RQ2 认为古斯塔森-巴尔西斯定律取代阿姆达尔定律的说法在逻辑上是否成立，还是对底层模型的误解？
• RQ3 为何在问题规模与处理器数量同步增长的实验中，加速比趋近于 p？这一现象能否由阿姆达尔定律解释？
• RQ4 顺序执行时间恒定在调和两一定律关系中起什么作用？

主要发现

• 在顺序执行时间 T_s(n) 随处理器数量 p 变化保持恒定的假设下，古斯塔森-巴尔西斯定律可从阿姆达尔定律数学推导得出。
• 普遍认为古斯塔森-巴尔西斯定律否定了或取代了阿姆达尔定律的观点是错误的，其根源在于对底层假设的误解。
• 当问题规模 n 增大，使得顺序时间 T_s(n) 保持恒定时，阿姆达尔定律中的串行部分 β(n,1) 随 n → ∞ 趋近于零，导致 S(n,p) → p。
• 古斯塔森实验中观察到的线性加速比——即加速比趋近于处理器数量——当问题规模与处理器数量同步增长时，完全可用阿姆达尔定律加以解释。
• 古斯塔森原始表述中将执行时间归一化为 1 并非必要，反而引入了不必要的复杂性；在更自然的顺序时间恒定假设下，该结论依然成立。