[论文解读] A General Theory of Computational Scalability Based on Rational Functions

Neil J. Günther|ArXiv.org|Aug 11, 2008

Parallel Computing and Optimization Techniques参考文献 16被引用 27

一句话总结

本文通过证明通用可扩展性定律（USL）——一个分子为线性、分母为二次的有理函数——等价于具有状态相关服务速率的机器维修工模型的同步吞吐量上限，建立了计算可扩展性的统一队列理论基础。关键贡献在于表明阿姆达尔定律和古斯塔夫森加速比是该模型的推论，且分母为二次的有理函数在捕捉所有实际可扩展性行为方面既必要又充分。

ABSTRACT

The universal scalability law of computational capacity is a rational function C_p = P(p)/Q(p) with P(p) a linear polynomial and Q(p) a second-degree polynomial in the number of physical processors p, that has been long used for statistical modeling and prediction of computer system performance. We prove that C_p is equivalent to the synchronous throughput bound for a machine-repairman with state-dependent service rate. Simpler rational functions, such as Amdahl's law and Gustafson speedup, are corollaries of this queue-theoretic bound. C_p is further shown to be both necessary and sufficient for modeling all practical characteristics of computational scalability.

研究动机与目标

• 为阿姆达尔定律和通用可扩展性定律（USL）提供一种物理的、基于队列理论的解释，这些理论此前缺乏基本的理论基础。
• 证明USL函数自然地作为具有状态相关服务速率的闭合队列模型中的同步吞吐量上限出现。
• 将阿姆达尔定律和古斯塔夫森加速比统一为单一更一般队列理论模型的推论。
• 证明分母为二次的有理函数在建模所有实际计算可扩展性情况方面既必要又充分。

提出的方法

• 推导具有状态相关服务速率的机器维修工模型的吞吐量上限，证明其与USL形式一致。
• 采用具有有限请求数量（p）的闭合队列模型，对应于实际处理器数量，与先前工作中使用的开放模型形成对比。
• 确立USL函数作为该模型中同步吞吐量上限的自然结果，代表最坏情况下的可扩展性。
• 通过设定特定参数值（例如，κ=0 对应阿姆达尔，σ=0 对应古斯塔夫森）证明阿姆达尔定律和古斯塔夫森加速比是该边界的特例。
• 使用延迟函数 Tp 的可加性，而非直接求解有理函数 f(p)=P(p)/Q(p) 的反函数，从而避免非可逆性和多值反函数带来的问题。
• 利用引理1对延迟函数进行反演，推导出相应的吞吐量扩展特性，确保分析的严谨性。

实验结果

研究问题

• RQ1 通用可扩展性定律（USL）能否从一个基本的队列理论模型中推导出来，而非仅被视为一种经验拟合？
• RQ2 是否存在一个单一的底层队列模型，能将阿姆达尔定律和古斯塔夫森加速比作为其特例统一起来？
• RQ3 为何分母为二次的有理函数在建模所有实际可扩展性行为方面既必要又充分？
• RQ4 USL中的参数σ和κ具有何种物理解释？它们与队列现象有何关联？

主要发现

• USL函数在数学上等价于具有状态相关服务速率的机器维修工模型的同步吞吐量上限。
• 阿姆达尔定律和古斯塔夫森加速比被证明是该更一般队列理论边界的推论，从而解决了其物理基础长期存在的模糊性问题。
• 分母为二次的有理函数在建模所有实际可扩展性特征方面既必要又充分，证实了USL的普适适用性。
• 该模型将串行部分σ解释为机器处于故障状态的稳态概率，从而与队列理论建立了直接联系。
• 使用延迟函数 Tp 而非直接求解吞吐量函数的反函数，避免了与非可逆有理函数相关的数学陷阱。
• 分析表明，同步执行代表最坏情况下的可扩展性，为可实现性能提供了下界。