[논문 리뷰] Dart: Divide and Specialize for Fast Response to Congestion in RDMA-Based Datacenter Networks

Jaichen Xue, Muhammad Usama Chaudhry외 3명|arXiv (Cornell University)|2018. 05. 28.

Cloud Computing and Resource Management참고 문헌 52인용 수 2

한 줄 요약

Dart는 RDMA 기반 데이터센터를 위한 분할 및 전문화된 혼잡 제어 프레임워크를 제안하며, 수신자 혼잡과 네트워크 내 혼잡을 분리함으로써 incast에 대한 반응 속도를 가속화한다. 수신자 혼잡에 대해 일 RTT 수렴을 위한 직접적인 전달 비율 할당(DASR)과 공간적으로 국소화된 네트워크 내 혼잡을 위한 신규 순서 보장 흐름 방향 전환(IOFD) 하드웨어를 사용하여, 대규모 시뮬레이션에서 TIMELY 및 DCQCN 대비 99퍼센트 백분위수 지연 시간을 79% 낮추고 처리량을 58% 향상시킨다.

ABSTRACT

Though Remote Direct Memory Access (RDMA) promises to reduce datacenter network latencies significantly compared to TCP (e.g., 10x), end-to-end congestion control in the presence of incasts is a challenge. Targeting the full generality of the congestion problem, previous schemes rely on slow, iterative convergence to the appropriate sending rates (e.g., TIMELY takes 50 RTTs). Several papers have shown that even in oversubscribed datacenter networks most congestion occurs at the receiver. Accordingly, we propose a divide-and-specialize approach, called Dart, which isolates the common case of receiver congestion and further subdivides the remaining in-network congestion into the simpler spatially-localized and the harder spatially-dispersed cases. For receiver congestion, we propose direct apportioning of sending rates (DASR) in which a receiver for n senders directs each sender to cut its rate by a factor of n, converging in only one RTT. For the spatially-localized case, Dart provides fast (under one RTT) response by adding novel switch hardware for in-order flow deflection (IOFD) because RDMA disallows packet reordering on which previous load balancing schemes rely. For the uncommon spatially-dispersed case, Dart falls back to DCQCN. Small-scale testbed measurements and at-scale simulations, respectively, show that Dart achieves 60% (2.5x) and 79% (4.8x) lower 99th-percentile latency, and similar and 58% higher throughput than InfiniBand, and TIMELY and DCQCN.

연구 동기 및 목표

• RDMA 기반 데이터센터에서 종단 간 혼잡 제어의 느린 수렴 문제, 특히 incast 조건에서의 문제를 해결하기 위해.
• 데이터센터 네트워크에서 지연 시간 꼬리의 주요 원인인 수신자 혼잡의 공통 케이스를 식별하고 고립하기 위해.
• 반복적인 비율 조정을 피하고 빠른 반응을 보이는 전문화된 수신자 혼잡 처리 메커니즘을 설계하기 위해.
• 네트워크 내 혼잡을 공간적으로 국소화된 경우와 산산이 흩어진 경우로 분할하여 각각에 맞는 해결책을 적용함으로써 더 빠른 반응을 이끌어내기 위해.
• 패킷 재정렬을 방지하면서도 빠른 로드 밸런싱을 가능하게 하여 RDMA 호환성을 유지하기 위해.

제안 방법

• DASR(Direct Apportioning of Sending Rates)를 제안하며, n명의 송신자가 있는 수신자는 각 송신자에게 비율을 n분의 1로 줄이라고 지시함으로써 일 RTT 수렴을 가능하게 한다.
• 스위치에 IOFD(In-Order Flow Deflection) 하드웨어를 도입하여 공간적으로 국소화된 네트워크 내 혼잡에 대해 빠르고 재정렬 없이 로드 밸런싱을 가능하게 한다.
• 수신자 확인 응답에 송신자 수를 피그박징하여, 전역 RTT 동기화가 필요 없이 DASR를 구현한다.
• 희귀한 공간적으로 산산이 흩어진 혼잡 케이스에 대해 DCQCN으로의 패러다임 전환을 도입하여 강건성을 확보한다.
• 패킷 재정렬을 방지하는 메커니즘을 설계하여 RDMA의 엄격한 순서 요구 조건을 충족시킨다.
• incast 그룹에 대한 애플리케이션 수준의 지식을 활용하여 비율 할당에 대한 사전 예측을 가능하게 하며, TCP 기반 기법과는 달리 개별 RTT 기반의 송신자 특화 비율 적응을 지원한다.

실험 결과

연구 질문

• RQ1 데이터센터 네트워크에서 지배적인 지연 시간 원인인 수신자 혼잡이 일 RTT 이내 수렴 가능한 하위 RTT 수렴으로 고립되고 해결될 수 있는가?
• RQ2 네트워크 내 혼잡을 더 빠른 반응을 가능하게 하기 위해 더 단순한 국소화된 경우와 더 어려운 산산이 흩어진 경우로 분할할 수 있는가?
• RQ3 국소화된 혼잡을 처리하기 위해 하드웨어 지원 및 재정렬 없이 로드 밸런싱이 가능한 메커니즘을 RDMA 네트워크에 설계할 수 있는가?
• RQ4 일반적인 반복적이고 느린 수렴 프로토콜인 TIMELY 및 DCQCN과 비교해 볼 때, 전문화된 일 RTT 혼잡 제어 기법은 실제 워크로드 및 시뮬레이션 환경에서 어떻게 성능을 내는가?
• RQ5 분할 및 전문화 접근 방식이 RDMA 기반 데이터센터에서 지연 시간과 처리량 측면에서 일반 목적의 혼잡 제어 기법을 능가할 수 있는가?

주요 결과

• 소규모 테스트 베드 측정 결과 Dart는 InfiniBand 대비 99퍼센트 백분위수 지연 시간을 60% 낮추고 동일한 처리량을 확보했다(2.5배 속도 향상).
• 대규모 시뮬레이션에서 Dart는 TIMELY 및 DCQCN 대비 99퍼센트 백분위수 지연 시간을 79% 낮추고(4.8배 속도 향상), 처리량을 58% 향상시켰다.
• DASR는 수신자가 현재 송신자 수를 각 송신자에게 통보함으로써 일 RTT 내에 수렴한다. 이로 인해 즉각적인 비율 조정이 가능해진다.
• IOFD 하드웨어는 국소화된 혼잡에 대해 빠르고 순서 보장된 흐름 방향 전환을 가능하게 하며, RDMA의 순서 제약을 위반하지 않고 한 RTT 이내에 반응한다.
• DIATCP보다 성능이 뛰어나지 않는 이유는 인위적인 RTT 지연을 피하고 개별 RTT 기반의 송신자 특화 비율 적응을 가능하게 하기 때문이다.
• 이 프레임워크는 일반 목적의 반복적 혼잡 제어보다 공통 혼잡 패tern에 대한 전문화가 성능 향상에 크게 기여함을 입증한다.