[论文解读] Automated Design of Two-Layer Fat-Tree Networks

Konstantin S. Solnushkin|arXiv (Cornell University)|Jan 25, 2013

Interconnection Networks and Systems参考文献 9被引用 3

一句话总结

本文提出了一种用于数据中心和超级计算机中两层胖树网络的自动化算法，通过利用真实设备价格和技术规格，优化成本和硬件利用率。该算法采用端口级度量指标和启发式方法，最小化未使用端口数量和线缆复杂度，从而实现高效、可扩展且经济最优的网络配置，且人工干预极少。

ABSTRACT

This paper presents an algorithm to automatically design two-level fat-tree networks, such as ones widely used in large-scale data centres and cluster supercomputers. The two levels may each use a different type of switches from design database to achieve an optimal network structure. Links between layers can run in bundles to simplify cabling. Several sample network designs are examined and their technical and economic characteristics are discussed. The characteristic feature of our approach is that real life equipment prices and values of technical characteristics are used. This allows to select an optimal combination of hardware to build the network (including semi-populated configurations of modular switches) and accurately estimate the cost of this network. We also show how technical characteristics of the network can be derived from its per-port metrics and suggest heuristics for equipment placement. The algorithm is useful as a part of a bigger design procedure that selects optimal hardware of cluster supercomputer as a whole. Therefore the article is focused on the use of fat-trees for high-performance computing, although the results are valid for any type of data centres.

研究动机与目标

• 开发一种自动化算法，用于设计两层胖树网络，以最小化大规模数据中心和超级计算机中的总成本和硬件浪费。
• 基于真实世界的价格和技术规格，实现交换机类型（包括半填充的模块化配置）的最优选择。
• 通过支持链路捆绑和提出高效的机架设备布局启发式方法，减少线缆复杂度。
• 通过将网络设计作为集群超级计算机整体CAD系统的一部分，支持对硬件组合的快速迭代。
• 使用端口级度量指标提供准确的成本和性能估算，并支持未来的可扩展性。

提出的方法

• 该算法使用端口级度量指标（如成本、带宽和端口数量）推导出总成本、阻塞因子和可靠性等聚合网络特性。
• 在交换机类型和配置（包括具有可变数量已安装叶模块的模块化交换机）中进行自动化搜索，以最小化未使用端口和总成本。
• 该方法支持链路捆绑（例如12根InfiniBand线缆），以减少线缆数量和物理体积，提高可管理性。
• 启发式方法指导设备在机架中的布局：将模块块密集排列，边缘交换机置于顶部以缩短下行链路，蛇形排列模式确保跨排的设备接近。
• 基于从机架布局和布局模式推导出的线缆长度估算，使用平均线缆价格（80美元）。
• 该算法已集成到集群超级计算机的CAD系统中，支持将网络设计作为独立子任务，对硬件组合进行迭代评估。

实验结果

研究问题

• RQ1 如何自动设计两层胖树网络，以在高效利用交换机端口的同时最小化总成本？
• RQ2 使用真实设备价格和技术规格对网络成本估算和硬件选型的准确性有何影响？
• RQ3 链路捆绑和设备布局启发式方法如何减少线缆复杂度并提高物理布局效率？
• RQ4 端口级度量指标在多大程度上可用于准确推导出总成本、带宽和可靠性等聚合网络特性？
• RQ5 该设计算法在大规模HPC和数据中心环境中，如何支持未来网络的扩展性和可伸缩性？

主要发现

• 该算法成功设计出使用高 radix 模块化交换机的非阻塞胖树网络，节点数高达200,000个，显著超过典型超级计算机的需求。
• 通过优化交换机配置并最小化未使用端口，该算法减少了硬件浪费和总网络成本，尤其在中等规模部署中效果显著。
• 链路捆绑（例如12根线缆）减少了线缆数量和物理体积，估算可节省线缆长度和布线复杂度。
• 所提出的机架布局启发式方法实现了设备的高密度堆叠，在一个396节点的示例中将机架数量减少了一台（从12台减少到11台），提升了空间和线缆效率。
• 使用端口级度量指标可准确估算总网络成本、带宽和可靠性，且无需完整拓扑枚举即可获得下界近似值。
• 该算法支持半填充的模块化交换机组态，能够基于真实设备数据实现精确的成本和端口利用率优化。