[论文解读] A New Interpretation of Amdahl's Law and Geometric Scalability

Neil J. Günther|arXiv (Cornell University)|Oct 17, 2002

Parallel Computing and Optimization Techniques参考文献 16被引用 9

一句话总结

本文通过排队论重新诠释了阿姆达尔定律与多处理因子（MPF）模型，表明阿姆达尔定律对应于具有物理真实性的总线模型中的同步排队，而MPF则源于产生非物理亚线性响应时间的Coxian服务端模型。主要贡献在于警示在大规模多处理器系统中避免使用MPF，因其表现出非物理行为，同时验证了阿姆达尔定律在真实系统动态下的更高准确性。

ABSTRACT

The multiprocessor effect refers to the loss of computing cycles due to processing overhead. Amdahl's law and the Multiprocessing Factor (MPF) are two scaling models used in industry and academia for estimating multiprocessor capacity in the presence of this multiprocessor effect. Both models express different laws of diminishing returns. Amdahl's law identifies diminishing processor capacity with a fixed degree of serialization in the workload, while the MPF model treats it as a constant geometric ratio. The utility of both models for performance evaluation stems from the presence of a single parameter that can be determined easily from a small set of benchmark measurements. This utility, however, is marred by a dilemma. The two models produce different results, especially for large processor configurations that are so important for today's applications. The question naturally arises: Which of these two models is the correct one to use? Ignoring this question merely reduces capacity prediction to arbitrary curve-fitting. Removing the dilemma requires a dynamical interpretation of these scaling models. We present a physical interpretation based on queueing theory and show that Amdahl's law corresponds to synchronous queueing in a bus model while the MPF model belongs to a Coxian server model. The latter exhibits unphysical effects such as sublinear response times hence, we caution against its use for large multiprocessor configurations.

研究动机与目标

• 解决长期存在的难题：在多处理器容量预测中选择阿姆达尔定律与MPF模型之间的权衡。
• 利用排队论为两个模型提供物理性、动力学上的解释，以评估其有效性与局限性。
• 阐明为何MPF在大规模配置下会产生非物理效应——特别是亚线性响应时间。
• 主张阿姆达尔定律，基于同步排队机制，相较于MPF，更适合用于真实多处理器可扩展性建模。
• 提倡对阿姆达尔定律进行两参数扩展，以同时考虑排队延迟与一致性惩罚。

提出的方法

• 使用排队论将阿姆达尔定律建模为具有有限请求数的修复工模型中的同步排队。
• 将MPF模型分析为具有Coxian服务端的M/G/1排队系统，其中服务方差小于指数分布，暗示亚线性扩展。
• 通过考察在处理器数量增加时两种模型的响应时间与利用率行为，比较其物理合理性。
• 证明MPF模型的几何级数意味着访问所有阶段的可能性递减，从而导致非物理的亚线性响应时间。
• 提出一个两参数模型C(α,β,p)，将阿姆达尔定律扩展以同时包含排队延迟（α）与一致性惩罚（β），其中β可实现反向吞吐量。
• 通过验证物理解释的合理性，表明当β=0时，两参数模型退化为α=σ的阿姆达尔定律，确认其与既有模型的一致性。

实验结果

研究问题

• RQ1 为何阿姆达尔定律与MPF模型在大规模多处理器配置下产生分歧预测？
• RQ2 支撑阿姆达尔定律与MPF模型行为的底层排队动力学机制是什么？
• RQ3 MPF模型在大规模多处理器系统中是否产生物理上真实的响应时间行为？
• RQ4 能否通过扩展阿姆达尔定律，推导出更准确、物理基础更坚实的多处理器可扩展性模型？
• RQ5 为何支撑MPF的Coxian服务端模型会导致非物理的亚线性响应时间？

主要发现

• 阿姆达尔定律对应于总线模型中的同步排队，明确计入总线与处理器利用率，因此具有物理真实性。
• MPF模型源于Coxian服务端模型，其访问所有阶段的可能性递减，导致亚线性响应时间，这在真实多处理器中是非物理的。
• MPF模型假设丢失工作量按几何级数递减，导致更多处理器时利用率下降，与实际观察到的开销增加而非减少相矛盾。
• 两参数模型C(α,β,p)推广了阿姆达尔定律，可捕捉反向吞吐量（当p→∞时C→1/p），而阿姆达尔定律与MPF均无法建模此现象。
• 当一致性惩罚消失（β=0）时，两参数模型退化为阿姆达尔定律，确认其与既有模型的一致性。
• 本文警告在大规模多处理器配置中避免使用MPF模型，因其表现出非物理的亚线性响应时间行为。