[논문 리뷰] Expander Datacenters: From Theory to Practice

Vipul Harsh, Sangeetha Abdu Jyothi외 2명|arXiv (Cornell University)|2018. 11. 01.

Cloud Computing and Resource Management참고 문헌 31인용 수 7

한 줄 요약

이 논문은 표준 프rotocol인 TCP와 최단경로 라우팅을 사용함에도 불구하고, 확장자 기반 데이터센터 토폴로지가 피트트리 토폴로지보다 최대 3배 높은 스루풋을 달성하고 리프-스핀 설계보다 1.5배 높은 성능을 보임을 보여준다. 확장자는 대역폭, 플로우 완료 시간, 버스트 내성, 장애 내성 면에서 기존 토폴로지보다 뛰어난 성능을 보이며, 작은 규모이든 현실적인 오버스브스크립션 비율이 적용된 환경이든, 고도화된 라우팅 또는 전송 메커니즘을 요구하지 않음에도 불구하고 성능 향상을 달성한다.

ABSTRACT

Recent work has shown that expander-based data center topologies are robust and can yield superior performance over Clos topologies. However, to achieve these benefits, previous proposals use routing and transport schemes that impede quick industry adoption. In this paper, we examine if expanders can be effective for the technology and environments practical in today's data centers, including the use of traditional protocols, at both small and large scale while complying with common practices such as over-subscription. We study bandwidth, latency and burst tolerance of topologies, highlighting pitfalls of previous topology comparisons. We consider several other metrics of interest: packet loss during failures, queue occupancy and topology degradation. Our experiments show that expanders can realize 3x more throughput than an equivalent fat tree, and 1.5x more throughput than an equivalent leaf-spine topology, for a wide range of scenarios, with only traditional protocols. We observe that expanders achieve lower flow completion times, are more resilient to bursty load conditions like incast and outcast and degrade more gracefully with increasing load. Our results are based on extensive simulations and experiments on a hardware testbed with realistic topologies and real traffic patterns.

연구 동기 및 목표

• TCP와 최단경로 라우팅과 같은 표준 산업 프로토콜만을 사용할 때 확장자 기반 데이터센터 토폴로지가 높은 성능을 제공할 수 있는지 평가하기.
• 실제로 널리 쓰이는 오버스브스크립션 비율을 반영한 소형 및 중형 규모의 데이터센터 환경에서 확장자의 성능을 평가하기.
• 스루풋, 플로우 완료 시간, 버스트 내성, 큐 점유율, 장애 내성 등의 핵심 지표를 기준으로 확장자와 기존 토폴로지(피트트리 및 리프-스핀)를 비교하기.
• 실제 환경에서 성능 향상을 달성하기 위해 복잡한 트래픽 엔지니어링 또는 비-오비우스 라우팅이 필요한지 판단하기.
• 실제 트래픽 트레이스와 현실적인 토폴로지를 기반으로 한 광범위한 시뮬레이션과 하드웨어 에뮬레이션을 통해 결과를 검증하기.

제안 방법

• 저자들은 균일, 비균형, 버스트 패턴을 포함한 다양한 트래픽 패턴을 반영한 합성 워크로드인 C-S 모델을 도입한다.
• 성능 평가에 표준 프로토콜을 사용한다: 전송 계층에 TCP, 라우팅에 최단경로 라우팅을 사용하며, 세그먼트 라우팅을 통한 k- disjoint 경로 라우팅을 선택적으로 적용한다.
• 대규모 시뮬레이션과 실시간 Facebook 트래픽 트레이스를 사용한 하드웨어 테스트베드(최대 48대 서버 토폴로지)를 활용해 실험을 수행한다.
• 실제 제약 조건을 반영한 다양한 오버스브스크립션 비율(2×–4×)에서 확장자와 기준 피트트리 및 리프-스핀 토폴로지를 비교한다.
• 핵심 지표로는 스루풋, 플로우 완료 시간, 큐 점유율, 장애 발생 시 패킷 손실, 부하가 가해진 상황에서의 토폴로지 성능 저하 등을 포함한다.
• 분석적 유도를 통해 확장자가 리프-스핀 대비 2배, 피트트리 대비 4배의 ToR 오버스브스크립션을 감소시킴을 입증한다.

실험 결과

연구 질문

• RQ1 TCP와 최단경로 라우팅과 같은 표준 프로토콜만을 사용할 때 확장자 기반 데이터센터 토폴로지가 Clos 및 리프-스핀 토폴로지보다 뛰어난 성능을 달성할 수 있는가?
• RQ2 소형 및 중형 규모의 데이터센터에서 일반적으로 사용되는 현실적인 오버스브스크립션 비율 하에서 확장자는 어떤 성능을 보이는가?
• RQ3 확장자는 인크스트 및 아웃크스트와 같은 버스트 패턴 트래픽을 처리할 때 기존 토폴로지보다 얼마나 뛰어난가?
• RQ4 부하가 증가함에 따라 확장자의 성능은 어떻게 저하되며, 이는 기존 토폴로지와 비교해 어떻게 다른가?
• RQ5 토폴로지 구조는 큐 점유율, 장애 내성, 장거리 링크 사용량 등의 핵심 지표에 어떤 영향을 미치는가?

주요 결과

• 다양한 현실적인 트래픽 패턴과 오버스브스크립션 비율 하에서 확장자는 동일한 피트트리 토폴로지 대비 최대 3배 높은 평균 스루풋을 달성하고, 리프-스핀 대비 1.5배 높은 스루풋을 기록한다.
• 특히 인크스트 및 아웃크스트와 같은 버스트 워크로드 하에서 확장자는 더 나은 로드 분산과 낮은 혼잡도로 인해 플로우 완료 시간이 현저히 짧다.
• 부하가 증가함에 따라 확장자는 더 유연하게 성능 저하를 보이며, 기존 토폴로지 대비 낮은 큐 점유율과 장애 발생 시 패킷 손실을 보인다.
• 성능 향상의 이점은 소규모 환경(예: 8리프, 2스핀 하드웨어 테스트베드)에서도 유지되며, 이는 이전 연구에서의 가정(규모가 커져야만 이점이 나타남)을 뒤집는 결과이다.
• 비-오비우스 라우팅 또는 복잡한 트래픽 엔지니어링이 필요하지 않음을 확인했으며, 표준 프로토콜만으로도 확장자의 성능 이점을 실현할 수 있음을 입증한다.
• 분석 결과, 확장자는 리프-스핀 대비 2배, 피트트리 대비 4배의 ToR 오버스브스크립션 감소를 보이며, 이는 오버스브스크립션 병목 현상에 대한 내성을 설명한다.