[논문 리뷰] Micro-burst in Data Centers: Observations, Implications, and Applications

Danfeng Shan, Fengyuan Ren외 2명|arXiv (Cornell University)|2016. 04. 26.

Cloud Computing and Resource Management인용 수 10

한 줄 요약

이 논문은 데이터 센터에서 마이크로버스트를 탐지하고 억제하기 위해 대기열 길이 증가의 기울기를 사용하는 ECN 마킹 정책인 S-ECN을 제안한다. 조기 혼잡 신호를 통해 S-ECN은 대기열 길이 급증을 50% 이상 감소시키고, 99번째 백분율 쿼리 완료 시간을 약 20% 단축시켜 DCTCP 및 ECN*과 같은 기존 프rotocol보다 뛰어난 성능을 발휘한다.

ABSTRACT

Micro-burst traffic is not uncommon in data centers. It can cause packet dropping, which results in serious performance degradation (e.g., Incast problem). However, current solutions that attempt to suppress micro-burst traffic are extrinsic and ad hoc, since they lack the comprehensive and essential understanding of micro-burst's root cause and dynamic behavior. On the other hand, traditional studies focus on traffic burstiness in a single flow, while in data centers micro-burst traffic could occur with highly fan-in communication pattern, and its dynamic behavior is still unclear. To this end, in this paper we re-examine the micro-burst traffic in typical data center scenarios. We find that evolution of micro-burst is determined by both TCP's self-clocking mechanism and bottleneck link. Besides, dynamic behaviors of micro-burst under various scenarios can all be described by the slope of queue length increasing. Our observations also implicate that conventional solutions like absorbing and pacing are ineffective to mitigate micro-burst traffic. Instead, senders need to slow down as soon as possible. Inspired by the findings and insights from experimental observations, we propose S-ECN policy, which is an ECN marking policy leveraging the slope of queue length increasing. Transport protocols utilizing S-ECN policy can suppress the sharp queue length increment by over 50%, and reduce the 99th percentile of query completion time by ~20%.

연구 동기 및 목표

• 데이터 센터 네트워크에서 전통적인 인터넷 트래픽 패턴과 다름을 보이는 마이크로버스트의 근본 원인과 동적 행동을 이해하기 위해.
• 패딩 및 버퍼 흡수와 같은 기존의 마이크로버스트 완화 기법이 데이터 센터 환경에서 효과가 없는 이유를 규명하기 위해.
• 버퍼 오버플로우가 발생하기 전에 조기에 혼잡을 탐지하고 전송 속도를 조절할 수 있는 전송 프rotocol 정책을 개발하기 위해.
• 고성능, 짧은 수명 주기의 흐름 워크로드에서 대기열 기울기를 활용한 능동적 혼잡 제어를 위한 ECN 기반 마킹 정책을 설계하고 평가하기 위해.

제안 방법

• 저자는 다양한 흐름 패턴과 네트워크 조건에서 제어 실험를 통해 실제 데이터 센터 워크로드에서 대기열 길이 변화를 세밀하게 모니터링한다.
• 그들은 마이크로버스트 동적 행동을 핵심 지표로 삼아 대기열 길이 증가의 기울기를 분석하며, 다양한 시나리오에서 일관되게 마이크로버스트 행동을 기술함을 발견한다.
• 이 인사이트를 바탕으로, 대기열 기울기가 임계값을 초과할 경우 혼잡 알림을 트리거하여 조기 송신기 속도 감소를 가능하게 하는 S-ECN이라는 ECN 마킹 정책을 설계한다.
• S-ECN은 순간적인 대기열 길이 기울기를 기반으로 확률적 마킹을 사용하여 일시적인 변동에 과민하게 반응하는 것을 방지하면서도 적시에 대응한다.
• S-ECN은 웹 검색 및 소형 흐름 워크로드를 포함한 실제 워크로드에서 평가되며, ECN*, DCTCP 및 SL-ECN과 비교된다.
• 성능은 쿼리 완료 시간(특히 99번째 백분율), 대기열 길이 동적 변화, 다양한 흐름 크기에서의 흐름 완료 시간을 통해 측정된다.

실험 결과

연구 질문

• RQ1 고팬인(팬인)이 높고 수명이 짧은 흐름을 가진 데이터 센터 네트워크에서 마이크로버스트 진화의 근본적 원인은 무엇인가?
• RQ2 동기화 및 이성화된 흐름 집합화를 포함한 다양한 트래픽 패턴에서 마이크로버스트의 동적 행동은 어떻게 변화하는가?
• RQ3 왜 패딩 및 버퍼 흡수와 같은 기존의 마이크로버스트 완화 기법은 데이터 센터 환경에서 효과가 없는가?
• RQ4 대기열 길이 증가의 기울기가 다양한 네트워크 시나리오에서 마이크로버스트 심각도를 통합 예측자로 사용할 수 있는가?
• RQ5 대기열 기울기를 기반으로 한 혼잡 신호 정책이 지연 민감 워크로드에서 종단 간 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• TCP의 자체 시계 메커니즘과 병목 링크가 데이터 센터 네트워크에서 마이크로버스트의 진화를 함께 결정한다.
• 대기열 길이 증가의 기울기는 흐름 유형이나 배경 트래픽에 관계없이 모든 테스트 시나리오에서 마이크로버스트 동적 행동을 정확하게 기술하는 유일한 지표이다.
• 버퍼 흡수 및 패킷 패딩과 같은 기존 솔루션은 응답 지연과 조기에 대기열 축적을 방지할 수 없는 점 때문에 데이터 센터에서 마이크로버스트 완화에 효과가 없다.
• S-ECN은 주요 전송 프rotocol 대비 피크 대기열 길이 증가를 50% 이상 감소시켜 마이크로버스트를 크게 억제한다.
• S-ECN은 DCTCP 대비 99번째 백분율 쿼리 완료 시간을 약 20% 감소시키며, ECN* 대비 13.6% 감소시켜 지연 민감 워크로드에서 뚜렷한 성능 향상을 보였다.
• 소형 흐름(<100KB)의 경우, S-ECN은 ECN* 대비 99번째 백분율 흐름 완료 시간을 14.2% 감소시키며, DCTCP 대비 25.9% 감소시켜 짧은 수명 주기의 지연 민감 트래픽에 큰 이점을 제공한다.