[논문 리뷰] Expanding across time to deliver bandwidth efficiency and low latency

William M. Mellette, Rajdeep Das외 4명|arXiv (Cornell University)|2019. 03. 29.

Interconnection Networks and Systems참고 문헌 37인용 수 19

한 줄 요약

Opera는 낮은 지연 시간 성능을 제공하는 소형 흐름을 위해 빠르게 재구성 가능한 시간에 따라 변하는 확장 그래프를 사용하는 동적이고 회로 스위칭 기반의 데이터센터 네트워크이다. 이는 대용량 트래픽에 대해 시간이 지남에 따라 직접적이고 대역폭 효율적인 경로를 제공한다. 비용이 동일한 정적 토폴로지보다 샐링 워크로드에서 최대 4배 높은 처리량과 60% 높은 부하 용량을 달성하며, 흐름 완료 시간에 거의 영향을 주지 않는다.

ABSTRACT

Datacenters need networks that support both low-latency and high-bandwidth packet delivery to meet the stringent requirements of modern applications. We present Opera, a dynamic network that delivers latency-sensitive traffic quickly by relying on multi-hop forwarding in the same way as expander-graph-based approaches, but provides near-optimal bandwidth for bulk flows through direct forwarding over time-varying source-to-destination circuits. The key to Opera's design is the rapid and deterministic reconfiguration of the network, piece-by-piece, such that at any moment in time the network implements an expander graph, yet, integrated across time, the network provides bandwidth-efficient single-hop paths between all racks. We show that Opera supports low-latency traffic with flow completion times comparable to cost-equivalent static topologies, while delivering up to 4x the bandwidth for all-to-all traffic and supporting 60% higher load for published datacenter workloads.

연구 동기 및 목표

• 데이터센터 네트워크에서 저지연과 고대역폭 요구 사항 간의 근본적 상충 관계를 해결하기 위해.
• 소형 흐름의 저지연 성능을 희생시키지 않고 다중호프 포워딩의 대역폭 세금을 제거하기 위해.
• 지연 민감한 트래픽을 위한 저지름 연결성을 유지하면서 시간이 지남에 따라 직접적이고 고대역폭 경로를 제공할 수 있는 재구성 가능한 네트워크를 설계하기 위해.
• 실제 워크로드에서 동적 회로 스위칭이 정적 토폴로지보다 대역폭 효율성과 부하 용량 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• Opera는 정기적인 간격으로 소수의 토르 스위치 업링크를 재구성하여 시간에 따라 변하는 확장 그래프의 시퀀스를 구성한다.
• 모든 순간에 네트워크 토폴로지가 유효한 확장 그래프를 형성하도록 보장하여 지연 민감한 트래픽에 대한 저지연 다중호프 포워딩을 가능하게 한다.
• 대용량 트래픽은 소스와 목적지 간에 직접적인 단일호프 회로가 시간이 지남에 따라 설정될 때만 버퍼링되고 포워딩된다.
• 모든 랙 쌍 간에 주기적으로 직접 연결 링크를 통해 연결되도록, 랙 간 회로를 결정적이고 순환적인 방식으로 사전 할당한다.
• 낮은 지연 연결성을 유지하기 위해 동적으로 재구성 가능한 확장 그래프 기반 네트워크를 사용하면서, 시간 평균 기반의 직접 경로를 통합하여 대역폭 효율성을 확보한다.
• 예측 가능하고 주기적인 재구성 일정에 의존함으로써 런타임 회로 선택이나 전역 트래픽 모니터링이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 재구성 가능한 네트워크가 대용량 트래픽에 대해 거의 이상적인 대역폭 효율성을 달성하면서도 저지연 성능을 유지할 수 있는가?
• RQ2 동적 토폴로지에서 다중호프 포워딩의 대역폭 세금은 시간 평균 기반의 직접 경로의 이점과 비교해 어떻게 되는가?
• RQ3 결정적이고 주기적인 재구성 일정이 실시간 트래픽 모니터링 없이도 저지연 및 고처리량 성능을 지원할 수 있는가?
• RQ4 실제 데이터센터 워크로드에서 이러한 시스템이 비용이 동일한 정적 토폴로지 대비 달성 가능한 처리량 향상은 어느 정도인가?

주요 결과

• Opera는 비용이 동일한 정적 토폴로지(접힌-Clos 또는 확장 그래프 포함)에 비해 샐링 워크로드에서 최대 4배 높은 처리량을 달성한다.
• 공개된 비대칭 데이터센터 워크로드에서 Opera는 동일한 모든 흐름 크기의 흐름 완료 시간을 유지하면서 정적 토폴로지보다 60% 높은 부하 용량을 지원한다.
• Opera는 효과적인 대역폭 세금을 단 8.4%로 줄여, 기존 재구성 가능한 네트워크 설계에서 흔히 볼 수 있는 200–500%의 세금보다 크게 낮춘다.
• Opera의 라우팅 규칙셋은 현대의 Tofino 65x100GE 스위치의 메모리 제약 조건 내에 수용되며, 대규모 데이터센터(1,200개 랙)에서도 최대 85.9%의 활용도를 달성한다.
• 확장 그래프 토폴로지가 항상 활성화되어 있어 소형 흐름에 대한 즉각적인 다중호프 포워딩이 가능하므로, 시스템은 저지연 성능을 유지한다.
• 다양한 네트워크 규모, 워크로드 및 비용 요소에 걸쳐 안정적이며 일관된 성능 향상을 보여준다.