[논문 리뷰] A Flat and Scalable Data Center Network Topology Based on De Bruijn Graphs

Frank Dürr|arXiv (Cornell University)|2016. 10. 11.

Interconnection Networks and Systems인용 수 5

한 줄 요약

이 논문은 계층적 스위치를 제거하고 하드웨어 비용을 줄이기 위해 De Bruijn 그래프를 사용하는 평탄하고 확장 가능한 데이터센터 네트워크 토폴로지 기법을 제안한다. TCAM에서의 접두사 매칭을 활용해 최소한의 포워딩 테이블 항목으로 효율적이고 저비용의 라우팅을 구현함으로써, 로그형 경로 길이를 달성하고 일반 장비 스위치에서도 구현 가능하게 하였다. 이는 Clos 네트워크에서의 ECMP 대비 25%의 처리량 감소가 있음에도 불구하고, 리프-스핀 토폴로지에 대한 실용적인 대안을 제공한다.

ABSTRACT

Due to the requirement of hosting tens of thousands of hosts in today's data centers, data center networks strive for scalability and high throughput on the one hand. On the other hand, the cost for networking hardware should be minimized. Consequently, the number and complexity (e.g. TCAM size) of switches has to be minimized. These requirements led to network topologies like Clos and Leaf-Spine networks only requiring a shallow hierarchy of switches---two levels for Leaf-Spine networks. The drawback of these topologies is that switches at higher levels like Spine switches need a high port density and, thus, are expensive and limit the scalability of the network. In this paper, we propose a data center network topology based on De Bruijn graphs completely avoiding a switch hierarchy and implementing a flat network topology of top-of-rack switches instead. This topology guarantees logarithmic (short) path length. We show that the required routing logic can be implemented by standard prefix matching operations in hardware (TCAM) allowing for using commodity switches without any modification. Moreover, forwarding requires only a very small number of forwarding table entries, saving costly and energy-intensive TCAM.

연구 동기 및 목표

• 고밀도 스파인 스위치에 의존하는 전통적인 Clos 및 리프-스핀 데이터센터 네트워크의 확장성과 비용 제약을 해결한다.
• 계층적 설계의 대안으로 평탄하고 일정한 차수를 가진 네트워크 토폴로지를 탐색하여 하드웨어 복잡성과 비용을 감소시킨다.
• De Bruijn 그래프가 확장 가능하고 평탄한 토폴로지, 그리고 효율적이고 하드웨어로 실행 가능한 라우팅을 제공할 수 있는지 조사한다.
• 실제 트래픽 패턴 하에서 De Bruijn 기반 라우팅과 리프-스핀 및 무작위 토폴로지에서의 ECMP 간의 성능 트레이드오프를 평가한다.
• De Bruijn 라우팅이 일반 장비 스위치에서 최소한의 TCAM 공간을 사용해 효율적으로 하드웨어로도 실행될 수 있음을 입증한다.

제안 방법

• 최대 전환기(ToR) 스위치가 일정한 차수(예: d=2)로 직접 상호연결되는 De Bruijn 그래프를 사용한 평탄한 데이터센터 네트워크 토폴로지 설계.
• TCAM에서의 접두사 매칭 연산을 활용해 De Bruijn 라우팅을 구현함으로써, 최소한의 테이블 항목(128개 스위치 기준 최대 28개/ToR 스위치)으로 하드웨어 수준의 포워딩을 가능하게 한다.
• 소프트웨어 정의 네트워킹(SDN) 아키텍처를 활용해 De Bruijn 기반 네트워크를 관리하고 구성함으로써 동적 제어 및 모니터링을 가능하게 한다.
• De Bruijn 그래프의 수학적 구조를 활용해 확률적 경로 탐색에 의존하지 않고도 로그형 경로 길이와 결정적 라우팅을 보장한다.
• 시뮬레이션 기반 성능 평가를 통해 De Bruijn 토폴로지, 리프-스핀(LS/ECMP), 무작위 그래프(Random/ECMP), De Bruijn + ECMP(DB/ECMP) 간의 성능을 비교한다.
• 무작위 호 간 연결 및 랙 간 트래픽 비율을 고려해 다양한 네트워크 크기(8~128개 ToR 스위치)에서 TCP 처리량을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 De Bruijn 그래프 기반 토폴로지가 고밀도 스파인 스위치가 필요 없이 평탄한 ToR 스위치 간 상호연결을 달성할 수 있는가?
• RQ2 최소한의 테이블 항목을 사용해 TCAM에서 De Bruijn 라우팅을 얼마나 효율적으로 하드웨어로 실행할 수 있는가?
• RQ3 TCP 처리량 측면에서 최신 리프-스핀 ECMP 토폴로지 대비 평탄한 De Bruijn 토폴로지의 성능 손실는 얼마나 되는가?
• RQ4 동일한 De Bruijn 토폴로지에서 De Bruijn 라우팅과 ECMP 라우팅 간의 처리량과 라우팅 복잡성 측면에서의 성능 비교는 어떠한가?
• RQ5 실제 랙 간 트래픽 조건 하에서 De Bruijn 네트워크의 성능은 평탄한 무작위 그래프와 비교해 어떠한가?

주요 결과

• De Bruijn 기반 토폴로지는 일정한 차수를 유지하면서도 로그형 경로 길이를 달성하여, 계층적 스파인 스위치 없이도 ToR 스위치의 확장 가능한 상호연결을 가능하게 한다.
• De Bruijn 라우팅은 TCAM에서의 접두사 매칭만으로도 실행 가능하며, 128개 스위치 기준으로 최대 28개의 포워딩 테이블 항목만 필요로 하여 TCAM 사용을 크게 감소시킨다.
• 128개 스위치(5120대 호스트) 기준 De Bruijn/DBRouting 토폴로지의 처리량은 리프-스핀/ECMP 대비 25%로 감소했으며, 이는 무작위 그래프 대비 35%보다 우수한 성능이다.
• De Bruijn 라우팅(DB/DBRouting)은 동일한 De Bruijn 토폴로지에서 ECMP 라우팅 대비 97%에서 79%의 처리량을 달성하여, 라우팅 알고리즘이 자체적으로 거의 영향을 주지 않음을 시사한다.
• De Bruijn와 리프-스핀 간 성능 격차의 주요 원인은 비효율적인 라우팅이 아니라 더 긴 경로 길이에 기인하며, De Bruijn 라우팅은 동일한 토폴로지에서 ECMP를 능가하는 성능을 보인다.
• 실제 환경에서 높은 랙 내부 트래픽(클라우드 트래픽의 80%)이 발생할 경우, De Bruijn와 리프-스핀 네트워크 간 성능 격차는 좁아질 수 있으며, 이는 De Bruijn의 비용-성능 트레이드오프가 이러한 환경에서 더욱 유리하게 작용할 수 있음을 시사한다.