[论文解读] Limitations of performance of Exascale Applications and supercomputers they are running on

János Végh|arXiv (Cornell University)|Aug 16, 2018

Distributed and Parallel Computing Systems被引用 4

一句话总结

本文重新诠释了阿姆达尔定律，以解释在百亿亿次超级计算机中固有的性能限制，表明70年前的冯·诺依曼计算范式——以单线程处理器为核心——造成了根本性瓶颈。通过将不可并行化的工作建模为总计算量的固定比例，作者证明了在当前架构下，性能的边际提升是不可避免的，并提出应转向显式协作的多处理器系统，以突破百亿亿次性能的上限。

ABSTRACT

The paper highlights that the cooperation of the components of the computing systems receives even more focus in the coming age of exascale computing. It discovers that inherent performance limitations exist and identifies the major critical contributions of the performance on many-many processor systems. The extended and reinterpreted simple Amdahl model describes the behavior of the existing supercomputers surprisingly well, and explains some mystical happenings around high-performance computing. It is pointed out that using the present technology and paradigm only marginal development of performance is possible, and that the major obstacle towards higher performance applications is the 70-years old computing paradigm itself. A way to step forward is also suggested

研究动机与目标

• 识别并分析当前百亿亿次超级计算机及其应用中的根本性能限制。
• 证明70年前的单处理器计算范式是实现显著性能提升的主要障碍。
• 提出从传统冯·诺依曼模型向显式协作的多处理器系统转变，以克服固有瓶颈。
• 通过理解基准测试行为和硬件特定性能约束，为编写高效百亿亿次应用提供实用框架。

提出的方法

• 将阿姆达尔定律扩展，以不可并行化工作比例为函数建模性能，将所有此类贡献视为单一有效的不可并行化组件。
• 将扩展后的阿姆达尔模型应用于真实世界的超级计算机数据，包括TOP500排名和应用效率指标。
• 分析基准测试行为（例如HPL、HPCG、GHP-L），以说明不同基准测试衡量系统性能的不同方面。
• 引入一种半技术性模型，为关键系统组件（如内存、互连、操作系统开销）分配性能贡献。
• 通过实际超级计算机案例（如天河-2、顶点、人工智能桥接云基础设施）评估模型的预测能力。
• 提出一种基于处理器之间显式、低延迟协作的新计算范式，灵感来自天河-2节点级集群的成功实践。

实验结果

研究问题

• RQ1 为何许多百亿亿次应用在现代超级计算机上仅能实现理论峰值性能的一小部分？
• RQ2 冯·诺依曼计算模型中的固有局限在多大规模并行系统中在多大程度上限制了性能扩展？
• RQ3 阿姆达尔定律如何被重新诠释，以解释现代超级计算机中超越软件并行化的性能瓶颈？
• RQ4 为何一些核心数名义上很高的超级计算机（如顶点、人工智能桥接云基础设施）表现出极低的有效并行化效率？
• RQ5 何种替代计算范式能够突破当前单处理器架构所施加的性能上限？

主要发现

• 扩展后的阿姆达尔模型对现代超级计算机上观测到的性能值有出人意料的良好解释力，包括顶点（仅使用230万/280万个核心）和人工智能桥接云基础设施（核心利用率仅2.8%）等系统中较低的应用效率。
• 在某些系统中，有效不可并行化比例（αeff）极低——例如人工智能桥接云基础设施中为5.9×10⁻⁵——这主要源于处理器间协作不良，而非仅算法限制。
• 尽管单处理器性能很高，但依赖云基础设施或互连设计不佳的系统，由于高循环延迟和低效数据共享，遭受灾难性性能损失。
• 天河-2在Rmax和αHPLeff基准测试中的持续性能表现表明，节点级集群和处理器间的显式协作可实现高效率，并保持顶级排名。
• 本文结论认为，当前技术和冯·诺依曼范式设定了硬性性能上限，唯有向显式协作的多处理器系统范式转变，才能突破百亿亿次梦想的性能天花板。
• 所提出的新型范式经模拟器验证，支持核心到核心的直接通信并减少循环延迟，为实现可扩展、高效的百亿亿次计算提供了切实可行的路径。