[论文解读] CLEX: Yet Another Supercomputer Architecture?

Christoph Lenzen, Roger Wattenhofer|arXiv (Cornell University)|Jul 1, 2016

Interconnection Networks and Systems参考文献 15被引用 3

一句话总结

CLEX 提出了一种新颖的超级计算机互连拓扑结构与路由方案，通过利用具有 $ n^\varepsilon $ 节点度数的分层、团状结构，实现了接近最优的带宽利用率和低通信延迟。与传统 3D 网 torus 网络相比，该方案在百万节点系统中将点对点带宽利用率提升了至少 10 倍，平均路径长度缩短了 5 倍，同时确保了无死锁、容错性和可扩展性通信。

ABSTRACT

We propose the CLEX supercomputer topology and routing scheme. We prove that CLEX can utilize a constant fraction of the total bandwidth for point-to-point communication, at delays proportional to the sum of the number of intermediate hops and the maximum physical distance between any two nodes. Moreover, % applying an asymmetric bandwidth assignment to the links, all-to-all communication can be realized $(1+o(1))$-optimally both with regard to bandwidth and delays. This is achieved at node degrees of $n^{\varepsilon}$, for an arbitrary small constant $\varepsilon\in (0,1]$. In contrast, these results are impossible in any network featuring constant or polylogarithmic node degrees. Through simulation, we assess the benefits of an implementation of the proposed communication strategy. Our results indicate that, for a million processors, CLEX can increase bandwidth utilization and reduce average routing path length by at least factors $10$ respectively $5$ in comparison to a torus network. Furthermore, the CLEX communication scheme features several other properties, such as deadlock-freedom, inherent fault-tolerance, and canonical partition into smaller subsystems.

研究动机与目标

• 解决当前超级计算机互连架构的根本性局限，特别是 3D torus 网络在规模扩展时面临的割切带宽差和通信延迟高的问题。
• 通过设计一种无需依赖常数或多对数度数的拓扑结构，突破低节点度数与短路由路径之间的权衡，实现高连通性与短路径。
• 开发一种实用的、分布式的、容错的路由方案，利用网络冗余性，确保在链路或节点故障情况下的鲁棒性。
• 将物理约束（如信号传播延迟和链路长度）整合到网络性能的理论分析中，突破仅基于跳数的模型局限。
• 证明分层的、基于扩展器的拓扑结构可在大规模系统中实现接近最优的全对全和点对点通信性能。

提出的方法

• 提出 CLEX（CLique-EXpander），一种由多级团和扩展器组成的分层互连拓扑结构，实现高连通性与短路径。
• 设计一种分布式、自适应的路由算法，根据平均消息跳数动态分配各层级的带宽，优先为低层级分配更高吞吐量。
• 将通信延迟建模为跳数和物理距离的函数，将信号传播延迟纳入性能分析。
• 实现一种容错路由机制，利用 CLEX 拓扑的固有冗余性，自动绕过故障节点或链路进行消息重路由。
• 通过仿真评估大规模配置（如 32^4 和 64^3 节点）下的性能表现，将 CLEX 与 3D torus 在相同流量模式下进行对比。
• 在不同层级之间采用非对称带宽分配策略，以优化常见通信模式，尤其是全对全和点对点通信。

实验结果

研究问题

• RQ1 是否能够设计一种超级计算机拓扑结构，在节点度数以 $ n^\varepsilon $ 增长（其中 $ \varepsilon > 0 $ 为任意小的正数）的前提下，实现点对点带宽利用率的常数因子最优？
• RQ2 在考虑物理信号传播延迟的前提下，高连通性与小直径的拓扑结构能在多大程度上减少通信延迟？
• RQ3 在现实的、非理想路由条件下，基于 CLEX 的互连架构在有效带宽和平均路径长度方面与 3D torus 相比表现如何？
• RQ4 能否为高连通性拓扑（如 CLEX）设计一种无需集中控制的分布式、无死锁且容错的路由方案？
• RQ5 在大规模系统中，层级间的非对称带宽分配是否能显著提升全对全通信效率？

主要发现

• CLEX 在带宽和延迟方面均实现了 $ (1+o(1)) $-最优的全对全通信性能，优于传统拓扑结构，后者在低节点度数下无法达到此类效率。
• 在百万节点系统中，与 3D torus 网络相比，CLEX 的有效点对点带宽利用率至少提升了 10 倍。
• 即使在现实的、非理想的路由条件下，CLEX 的平均路由路径长度也比 3D torus 缩短了至少 5 倍。
• 在轻负载场景下，CLEX 的平均消息延迟降低至物理最小延迟的约 1.8–2.3 倍，而 torus 网络中的延迟值则显著更高。
• CLEX 的路由方案天然具备无死锁特性，并可通过冗余路由路径实现无缝容错，即使在节点或链路故障时也能保持稳定。
• 仿真结果证实，CLEX 在包括 32^4 和 64^3 节点系统在内的多种配置下均保持高性能，且在带宽和延迟指标上均有显著提升。