[논문 리뷰] Jellyfish: Networking Data Centers Randomly

Ankit Singla, Chi-Yao Hong외 2명|arXiv (Cornell University)|2011. 10. 08.

Interconnection Networks and Systems참고 문헌 28인용 수 364

한 줄 요약

젤리피시는 최대 수신기 스위치 간의 degree 제한된 무작위 상호연결을 사용함으로써 확장성 있고 점진적인 확장을 가능하게 하는 무작위 그래프 기반 데이터센터 네트워크 설계를 제안한다. 동일한 장비를 사용할 때 피트트리보다 25% 더 많은 서버를 지원하며, 더 높은 용량, 더 짧은 경로, 고장에 대한 내성까지 확보한다. 동시에 국소적 링크 배치를 통해 비용 효율적인 케이블링을 실현한다.

ABSTRACT

Industry experience indicates that the ability to incrementally expand data centers is essential. However, existing high-bandwidth network designs have rigid structure that interferes with incremental expansion. We present Jellyfish, a high-capacity network interconnect, which, by adopting a random graph topology, yields itself naturally to incremental expansion. Somewhat surprisingly, Jellyfish is more cost-efficient than a fat-tree: A Jellyfish interconnect built using the same equipment as a fat-tree, supports as many as 25% more servers at full capacity at the scale of a few thousand nodes, and this advantage improves with scale. Jellyfish also allows great flexibility in building networks with different degrees of oversubscription. However, Jellyfish's unstructured design brings new challenges in routing, physical layout, and wiring. We describe and evaluate approaches that resolve these challenges effectively, indicating that Jellyfish could be deployed in today's data centers.

연구 동기 및 목표

• 성장하는 워크로드와 새로운 애플리케이션에 대응하기 위해 필수적인 점진적 확장을 해결하기 위해 데이터센터 네트워크의 점진적 확장 문제를 다루는 것.
• 피트트리와 같은 전통적인 고대역폭 설계의 구조적 경직성 문제를 해결하기 위해, 대규모이고 비점진적인 업그레이드가 필요하지 않은 설계를 개발하는 것.
• 성능을 희생시키지 않고도 이질적인 스위치 포트 수와 임의의 네트워크 크기를 자연스럽게 지원할 수 있는 네트워크 아키텍처를 설계하는 것.
• 실제 데이터센터 환경에서 구조화된 설계(예: 피트트리)와 비교해도 유사하거나 더 나은 성능을 달성할 수 있는 비구조적 무작위 설계의 가능성 여부를 평가하는 것.
• 비구조적 무작위 네트워크에서 라우팅, 물리적 레이아웃, 케이블링에 대한 실용적인 솔루션을 개발하여 실제 구현 가능성을 확보하는 것.

제안 방법

• 각 스위치가 고정된 포트 수를 가지며, 무작위로 연결되는 최대 수신기 스위치를 연결하는 degree 제한된 무작위 그래프 설계를 설계한다.
• 새로운 스위치나 서버 랙을 추가할 때 구조 재구성 없이 무작위 엣지 교환을 통해 점진적으로 네트워크를 확장한다.
• 이중 레이어 Jellyfish 모델을 적용: 컨테이너(포드) 내부 및 컨테이너 간의 무작위 연결을 통해 국소적 케이블링을 가능하게 한다.
• 일부 링크를 컨테이너 내부에 국소화함으로써 케이블링을 최적화하고, 컨테이너 간 복잡성을 감소시킨다.
• 무작위 순열 트래픽 패턴 하에서 이분 밴드폭, 평균 서버 스루풋, 경로 길이 등의 지표를 사용해 네트워크 성능을 평가한다.
• 모의 실험과 분석 모델링을 통해 다양한 네트워크 크기와 스위치 포트 수에서 피트트리 및 기타 구조화된 설계와 Jellyfish를 비교한다.

실험 결과

연구 질문

• RQ1 동일한 네트워크 장비를 사용할 때, 무작위 그래프 설계가 구조화된 피트트리 설계보다 더 높은 서버 용량을 지원할 수 있는가?
• RQ2 젤리피시와 이전의 점진적 Clos 네트워크에 비해 점진적 확장 비용은 어떻게 비교되는가?
• RQ3 컨테이너 간 링크를 국소화함으로써 케이블링 복잡성을 얼마나 줄일 수 있으며, 네트워크 스루풋에 영향을 주지 않도록 할 수 있는가?
• RQ4 네트워크 크기와 스위치 포트 수 증가에 따라 젤리피시의 성능이 구조화된 설계와 비교해 어떻게 변화하는가?
• RQ5 비구조적, 무작위 네트워크 설계에서 효과적인 라우팅과 물리적 레이아웃을 달성할 수 있으며, 실제 데이터센터 구현에 적합한가?

주요 결과

• 젤리피시는 동일한 스위치 장비를 사용할 때 피트트리보다 25% 더 많은 서버를 지원하며, 서버당 대역폭에 변화가 없다.
• 네트워크 크기와 스위치 포트 수가 증가할수록 젤리피시의 성능 우월성이 커지며, 확장성 향상 효과가 뚜렷하다.
• 스위치당 50%의 링크를 컨테이너 내부에 국소화할 경우, 스루풋 저하가 3% 미만으로 발생하여 케이블링 국소화의 효과를 입증한다.
• 60%의 링크를 국소화한 경우에도 스루풋 손실은 6% 미만이며, 이와 유사한 케이블링 제약 조건에서 피트트리는 53.6%의 국소 링크 비율을 보이므로, 젤리피시가 더 높은 용량을 확보함을 보여준다.
• 젤리피시는 이전의 Clos 네트워크 점진적 확장 기법 대비 확장 비용의 약 40%로 점진적 확장을 실현하여 비용 효율성 향상이著명하다.
• 평균 경로 길이가 짧고, 랜덤하고 다중 경로 구조 덕분에 고장 및 잘못 연결된 케이블에 대한 내성도 확보한다.