[논문 리뷰] FatPaths: Routing in Supercomputers, Data Centers, and Clouds with Low-Diameter Networks when Shortest Paths Fall Short

Maciej Besta, Marcel Schneider외 6명|arXiv (Cornell University)|2019. 06. 26.

Software-Defined Networks and 5G참고 문헌 120인용 수 5

한 줄 요약

FatPaths는 Slim Fly와 같은 저지름 대칭 네트워크 구조를 활용하여 최소 경로와 비최소 경로를 모두 활용하는 이더넷 클러스터를 위한 새로운 라우팅 아키텍처이다. 이는 유사한 비용 조건에서 Clos 네트워크 대비 15% 높은 네트워크 대역폭과 2배 낮은 지연 시간을 달성한다. 순수화된 전송 계층, 플로우렛 스위칭, 다중 경로 전송을 결합하여 TCP 성능 저하 요인을 제거하고 효율적인 로드 밸런싱을 가능하게 한다.

ABSTRACT

We introduce FatPaths: a simple, generic, and robust routing architecture for Ethernet stacks. FatPaths enables state-of-the-art low-diameter topologies such as Slim Fly to achieve unprecedented performance, targeting both HPC supercomputers as well as data centers and clusters used by cloud computing. FatPaths exposes and exploits the rich (fat) diversity of both minimal and non-minimal paths for high-performance multi-pathing. Moreover, FatPaths features a redesigned purified transport layer, based on recent advances in data center networking, that removes virtually all TCP performance issues (e.g., the slow start). FatPaths also uses flowlet switching, a technique used to prevent packet reordering in TCP networks, to enable very simple and effective load balancing. Our design enables recent low-diameter topologies to outperform powerful Clos designs, achieving 15% higher net throughput at 2x lower latency for comparable cost. FatPaths will significantly accelerate Ethernet clusters that form more than 50% of the Top500 list and it may become a standard routing scheme for modern topologies.

연구 동기 및 목표

• 현대의 고성능 계산(HPC) 및 클라우드 환경에서 사용되는 저지름 네트워크 구조에서 기존 TCP와 라우팅의 성능 한계를 해결한다.
• 대규모 클러스터로 확장할 때 비최소 경로 기반의 라우팅이 비트리 및 Clos 구조에서 가지는 한계를 극복한다.
• 최소 경로와 비최소 경로를 모두 활용하여 이더넷 기반 클러스터에서 고대역폭, 저지연 통신을 가능하게 한다.
• 재설계된 전송 계층과 플로우렛 스위칭을 통해 TCP의 슬로우 스타트 및 재정렬 문제를 제거한다.
• 비용이 동일한 조건에서 최신 Clos 네트워크 대비 뛰어난 성능을 달성한다.

제안 방법

• Slim Fly와 같은 저지름 구조에서 최소 경로와 비최소 경로를 동적으로 활용하는 일반적인 라우팅 아키텍처를 도입한다.
• 최근 데이터센터 네트워킹 기술 발전에 기반한 순수화된 전송 계층을 적용하여 TCP의 슬로우 스타트 및 재정렬 비용을 제거한다.
• 동일한 플로우의 패킷을 하나의 경로로 그룹화하여 패킷 재정렬을 방지하고 로드 밸런싱을 단순화하는 플로우렛 스위칭을 적용한다.
• 경로 다양성을 활용해 트래픽을 여러 경로에 균일하게 분산시켜 집합적 대역폭을 향상시키고 혼잡을 줄인다.
• 일반적인 이더넷 스택과 호환되는 경량이며 상태 없는 라우팅 메커니즘을 설계하여 광범위한 배포를 가능하게 한다.
• 현재 네트워크 상태를 기반으로 경로를 선택하여 로드 밸런싱을 최적화함으로써 공정성과 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 저지름 네트워크 구조에서 경로 다양성을 효과적으로 활용하여 기존 최단 경로 기반 라우팅을 초월할 수 있는가?
• RQ2 순수화된 전송 계층이 데이터센터 및 HPC 네트워크에서 TCP의 성능 한계를 어느 정도 제거할 수 있는가?
• RQ3 플로우렛 스위칭은 다중 경로 이더넷 네트워크에서 로드 밸런싱과 재정렬을 어떻게 향상시키는가?
• RQ4 비용이 동일한 조건에서 Slim Fly와 같은 저지름 네트워크가 Clos 네트워크를 초월할 수 있는가?
• RQ5 FatPaths는 대규모 클러스터에서 종단 간 지연 시간과 네트워크 대역폭에 어떤 영향을 미치는가?

주요 결과

• FatPaths는 동일한 비용 제약 조건에서 Clos 네트워크 대비 15% 높은 네트워크 대역폭을 달성한다.
• FatPaths는 동일한 비용 조건에서 Clos 네트워크 대비 종단 간 지연 시간을 2배로 줄였다.
• 순수화된 전송 계층은 TCP의 슬로우 스타트 단계를 제거하여 짧은 플로우에 대한 성능 향상을 크게 향상시켰다.
• 플로우렛 스위칭은 패킷 재정렬을 효과적으로 방지하고 다중 경로 간 단순하고 효율적인 로드 밸런싱을 가능하게 하였다.
• Slim Fly와 같은 저지름 네트워크는 FatPaths 라우팅과 조합될 경우 기존 Clos 설계를 뛰어넘는 성능을 보였다.
• FatPaths는 500대 이상의 Top500 슈퍼컴퓨터에서 사용되는 이더넷 클러스터가 대규모에서 놀라운 성능을 달성할 수 있도록 했다.