[논문 리뷰] Automated Design of Two-Layer Fat-Tree Networks

Konstantin S. Solnushkin|arXiv (Cornell University)|2013. 01. 25.

Interconnection Networks and Systems참고 문헌 9인용 수 3

한 줄 요약

이 논문은 데이터센터와 슈퍼컴퓨터에서 두 층으로 구성된 피트트리 네트워크를 자동으로 설계하는 알고리즘을 제시하며, 실제 장비 가격과 기술 사양을 활용하여 비용과 하드웨어 활용도를 최적화한다. 포트 단위 지표와 히ュ리스틱을 사용하여 낭비되는 포트와 케이블 복잡성을 최소화함으로써, 최소한의 수동 간섭으로도 효율적이고 확장 가능하며 경제적으로 최적화된 네트워크 구성이 가능해진다.

ABSTRACT

This paper presents an algorithm to automatically design two-level fat-tree networks, such as ones widely used in large-scale data centres and cluster supercomputers. The two levels may each use a different type of switches from design database to achieve an optimal network structure. Links between layers can run in bundles to simplify cabling. Several sample network designs are examined and their technical and economic characteristics are discussed. The characteristic feature of our approach is that real life equipment prices and values of technical characteristics are used. This allows to select an optimal combination of hardware to build the network (including semi-populated configurations of modular switches) and accurately estimate the cost of this network. We also show how technical characteristics of the network can be derived from its per-port metrics and suggest heuristics for equipment placement. The algorithm is useful as a part of a bigger design procedure that selects optimal hardware of cluster supercomputer as a whole. Therefore the article is focused on the use of fat-trees for high-performance computing, although the results are valid for any type of data centres.

연구 동기 및 목표

• 대규모 데이터센터와 슈퍼컴퓨터에서 스위치 포트 낭비를 최소화하고 비용을 최소화하는 두 층 피트트리 네트워크를 자동으로 설계하는 알고리즘 개발.
• 실제 시장 가격과 기술 사양을 기반으로 스위치 유형, 특히 반완성된 모듈식 구성의 최적 선택 가능화.
• 링크 번들링을 통해 케이블 수와 물리적 부피를 줄이고, 랙 내 장비 배치에 대한 히ュ리스틱을 제안하여 케이블 복잡성 감소.
• 클러스터 슈퍼컴퓨터를 위한 광범위한 CAD 시스템의 일부로 네트워크 설계를 지원하여 다양한 하드웨어 조합에 대한 빠른 반복 평가 가능.
• 포트 단위 지표를 활용한 정확한 비용 및 성능 추정 제공 및 향후 확장성 지원.

제안 방법

• 포트 단위 지표(비용, 대역폭, 포트 수 등)를 사용하여 총 비용, 차단 인자, 신뢰성과 같은 종합적 네트워크 특성 유도.
• 모듈식 스위치의 설치된 리프 모듈 수가 변하는 경우를 포함한 스위치 유형과 구성에 대한 자동 탐색 수행으로 낭비 포트 수와 총 비용 최소화.
• 케이블 수와 물리적 부피를 줄이기 위해 링크 번들링(예: 12x 인피니밴드 케이블) 지원.
• 장비 랙 내 위치 지침: 블록은 조밀하게 배치하고, 엣지 스위치는 내림선을 단축시키기 위해 상단에 배치하며, 뱀 모양 패턴을 통해 행 간 근접성 확보.
• 랙 레이아웃과 배치 패턴을 기반으로 추정된 케이블 길이를 바탕으로 평균 케이블 가격($80) 사용.
• 클러스터 슈퍼컴퓨터를 위한 CAD 시스템에 통합되어 네트워크 설계를 자체적으로 처리 가능한 하위 작업으로 삼아 하드웨어 조합에 대한 반복 평가 가능.

실험 결과

연구 질문

• RQ1 두 층 피트트리 네트워크를 어떻게 자동으로 설계하여 총 비용을 최소화하면서 스위치 포트를 효율적으로 활용할 수 있는가?
• RQ2 실제 장비 가격과 기술 사양을 사용할 경우 네트워크 비용 추정 및 하드웨어 선택 정확도에 어떤 영향을 미치는가?
• RQ3 링크 번들링과 장비 배치 히ュ리스틱은 어떻게 케이블 복잡성과 물리적 레이아웃 효율성을 감소시킬 수 있는가?
• RQ4 포트 단위 지표를 얼마나 정확하게 총 비용, 대역폭, 신뢰성과 같은 종합적 네트워크 특성 유도에 활용할 수 있는가?
• RQ5 이 설계 알고리즘은 대규모 HPC 및 데이터센터 환경에서 향후 네트워크 확장성과 확장 가능성을 얼마나 잘 지원할 수 있는가?

주요 결과

• 알고리즘은 고루프리드 모듈식 스위치를 사용하여 최대 200,000개 노드의 비차단 피트트리 네트워크를 성공적으로 설계하였으며, 일반적인 슈퍼컴퓨터 요구사항을 크게 초월한다.
• 스위치 구성 최적화와 낭비 포트 최소화를 통해 하드웨어 낭비와 총 네트워크 비용을 줄였으며, 특히 중간 규모 구현에서 두드러진 효과를 보였다.
• 링크 번들링(예: 12x 케이블)을 통해 케이블 수와 물리적 부피를 줄였으며, 케이블 길이 및 루팅 복잡성 감소 추정.
• 제안된 랙 내 장비 배치 히ュ리스틱은 장비의 조밀한 정렬을 가능하게 하여 396노드 예제에서 랙 수를 한 개 줄였음(12개 랙에서 11개 랙), 공간 및 케이블 효율성 향상.
• 포트 단위 지표를 활용하면 총 네트워크 비용, 대역폭, 신뢰성에 대한 정확한 추정이 가능하며, 전체 토폴로지 열거 없이도 하한 근사치 도출 가능.
• 알고리즘은 반완성된 모듈식 스위치 구성도 지원하여 실제 장비 데이터 기반으로 정확한 비용 및 포트 활용도 최적화 가능.