[논문 리뷰] Scalable Tail Latency Estimation for Data Center Networks

Kevin Zhao, Prateesh Goyal외 2명|arXiv (Cornell University)|2022. 05. 02.

Cloud Computing and Resource Management인용 수 5

한 줄 요약

이 논문은 엔드투엔드 흐름 성능을 독립적인 링크 수준 시뮬레이션으로 분해한 후, 이를 종합하여 엔드투엔드 분포를 추정함으로써 대규모 데이터센터 네트워크에서 尾尾 지연(latency)을 추정하는 확장 가능한 방법인 Parsimon을 제안한다. 기계학습을 요구하지 않으며, 새로운 구성에 대해 재학습이 필요 없이도 ns-3 대비 492배 빠른 성능을 달성하면서도 尾尾 지연 추정 오차가 9% 이내를 유지한다.

ABSTRACT

In this paper, we consider how to provide fast estimates of flow-level tail latency performance for very large scale data center networks. Network tail latency is often a crucial metric for cloud application performance that can be affected by a wide variety of factors, including network load, inter-rack traffic skew, traffic burstiness, flow size distributions, oversubscription, and topology asymmetry. Network simulators such as ns-3 and OMNeT++ can provide accurate answers, but are very hard to parallelize, taking hours or days to answer what if questions for a single configuration at even moderate scale. Recent work with MimicNet has shown how to use machine learning to improve simulation performance, but at a cost of including a long training step per configuration, and with assumptions about workload and topology uniformity that typically do not hold in practice. We address this gap by developing a set of techniques to provide fast performance estimates for large scale networks with general traffic matrices and topologies. A key step is to decompose the problem into a large number of parallel independent single-link simulations; we carefully combine these link-level simulations to produce accurate estimates of end-to-end flow level performance distributions for the entire network. Like MimicNet, we exploit symmetry where possible to gain additional speedups, but without relying on machine learning, so there is no training delay. On large-scale networks where ns-3 takes 11 to 27 hours to simulate five seconds of network behavior, our techniques run in one to two minutes with 99th percentile accuracy within 9% for flow completion times.

연구 동기 및 목표

• 대규모 데이터센터 네트워크에서 전통적인 패킷 수준 네트워크 시뮬레이션(예: ns-3)의 확장성 문제를 해결하기 위해, 몇 초 간의 행동을 시뮬레이션하는 데 수 시간이 소요될 수 있는 문제를 해결한다.
• 기계학습이나 각 구성에 대해 재학습이 필요 없이도 빠르고 정확하며 일반화 가능한 흐름 수준의 尾尾 지연 추정을 제공한다.
• 네트워크 운영자들이 실시간 의사결정을 내릴 수 있도록 지원하기 위해, SLO 위반 예측, 작업 배치, 장애 영향 분석 등의 기능을 제공한다.
• 각 링크에서의 혼잡 효과를 독립적으로 근사화함으로써 집합적 尾尾 지연 성능을 모델링하며, 혼잡 이벤트가 일반적으로 링크 간 상관관계가 없음을 활용한다.

제안 방법

• 엔드투엔드 흐름 성능을 대규모의 병렬적이고 독립적인 단일 링크 시뮬레이션으로 분해하여 내재된 병렬성을 활용한다.
• 다양한 부하 조건에서 흐름 수준의 행동을 캡처하는 특수 설계된 링크 수준 시뮬레이터를 사용하여 각 링크에서의 지연 기여도 분포를 모델링한다.
• 개별 링크 수준 지연 분포를 기계적 집계 과정을 통해 조합하여 전체 엔드투엔드 흐름 완료 시간(FCT) 분포를 추정한다.
• 가능한 한 네트워크 토폴로지의 대칭성을 활용하여 계산을 추가로 가속화하며, 기계학습에 의존하지 않는다.
• 정밀도를 확보하기 위해 기존의 ns-3 구현체를 활용하여 혼잡 제어 프rotocol(DCTCP, TIMELY, DCQCN)을 링크 수준 시뮬레이터로 사용한다.
• 학습 단계를 회피함으로써 로컬 혼잡 동역학을 직접 모델링함으로써, 임의의 토폴로지와 워크로드에서 거의 실시간 성능 추정이 가능하다.

실험 결과

연구 질문

• RQ1 기계학습이나 재학습 없이도 대규모 데이터센터 네트워크에서 엔드투엔드 尾尾 지연을 거의 실시간으로 추정할 수 있는가?
• RQ2 각 링크의 혼잡 이벤트를 별도로 모델링함으로써 흐름 수준의 尾尾 지연을 얼마나 정확하게 추정할 수 있는가?
• RQ3 제안된 방법은 다양한 워크로드, 토폴로지, 혼잡 제어 프rotocol에서 정확성을 유지하는가?
• RQ4 이 방법은 높은 링크 활용도와 이질적인 트래픽 패턴을 가진 대규모 네트워크로도 확장 가능한가?

주요 결과

• 384 랙, 6,144대의 호스트를 가진 데이터센터 네트워크에서 Parsimon은 ns-3 대비 492배 빠른 성능을 달성하여, 다섯 초의 시뮬레이션 시간에 대해 시뮬레이션 시간을 11~27시간에서 1~2분으로 단축시켰다.
• 고부하 및 다양한 워크로드 조건에서도 FCT 분포의 尾尾에서 ns-3와의 오차가 9% 이내를 유지하며 정확성을 확보했다.
• 작은 흐름과 중간 크기의 흐름, 중간 수준의 링크 활용도 조건에서 예측 오차가 가장 낮았으며, 큰 흐름과 고활용도 조건에서는 약간 증가했지만 여전히 허용 가능한 범위 내에 머물렀다.
• DCTCP, TIMELY, DCQCN 등 다양한 혼잡 제어 프rotocol에서 일관된 성능을 보이며, 다양한 부하 수준과 요청 크기에서 안정적인 성능을 유지했다.
• Parsimon은 시뮬레이션된 링크 장애 상황에서도 정확한 성능 예측을 수행하여 운영 의사결정 지원에 실용성을 입증했다.
• 학습이나 재학습이 전혀 필요 없이도 높은 정확도를 달성하여, 다양한 구성에서 '만약에' 시나리오 분석을 신속하게 평가할 수 있다.