[논문 리뷰] Deconstructing the Tail at Scale Effect Across Network Protocols

Akshitha Sriraman, Sihang Liu외 3명|arXiv (Cornell University)|2017. 01. 10.

Cloud Computing and Resource Management참고 문헌 19인용 수 5

한 줄 요약

이 논문은 네트워크 혼잡과 프로토콜 복잡성은 제거된 상태에서도 운영 체제 커널의 TCP/UDP 프로토콜 스택이 네트워크 프로토콜에서 극단적인 꼬리 지연 시간의 주요 원인임을 규명한다. TCP-IP, UDP-IP, RDMA를 대상으로 한 통제된 실험을 통해 연결성이 없는 UDP-IP 역시 110배의 꼬리 피크를 보이며, OS 커널을 우회하는 RDMA는 극히 미미한 꼬리 지연을 보여, 현대 저지연 시스템에서 성능 저하의 근본 원인이 OS 프로토콜 스택임을 입증한다.

ABSTRACT

Network latencies have become increasingly important for the performance of web servers and cloud computing platforms. Identifying network-related tail latencies and reasoning about their potential causes is especially important to gauge application run-time in online data-intensive applications, where the 99th percentile latency of individual operations can significantly affect the the overall latency of requests. This paper deconstructs the "tail at scale" effect across TCP-IP, UDP-IP, and RDMA network protocols. Prior scholarly works have analyzed tail latencies caused by extrinsic network parameters like network congestion and flow fairness. Contrary to existing literature, we identify surprising rare tails in TCP-IP round-trip measurements that are as enormous as 110x higher than the median latency. Our experimental design eliminates network congestion as a tail-inducing factor. Moreover, we observe similar extreme tails in UDP-IP packet exchanges, ruling out additional TCP-IP protocol operations as the root cause of tail latency. However, we are unable to reproduce similar tail latencies in RDMA packet exchanges, which leads us to conclude that the TCP/UDP protocol stack within the operating system kernel is likely the primary source of extreme latency tails.

연구 동기 및 목표

• 창고 규모 컴퓨팅 플랫폼에서 사용되는 네트워크 프로토콜의 극단적인 꼬리 지연 시간의 근본 원인을 규명하는 것.
• 관측된 꼬리 지연 피크의 원인이 네트워크 혼잡, 흐름 공정성, 또는 프로토콜 복잡성(예: TCP의 3-way handshake)인지 확인하는 것.
• TCP-IP, UDP-IP, RDMA를 통제된 조건에서 비교함으로써 운영 체제 커널의 네트워크 프로토콜 스택의 역할을 분리하여 분석하는 것.
• OS 간섭이 없는 RDMA에서 극단적인 꼬리 지연 시간이 제거되는지 평가함으로써, 커널 스택이 저지연 시스템에서 지연 이상 현상의 주요 원인임을 규명하는 것.
• TCP-IP가 UDP-IP보다 더 나쁜 꼬리 지연 시간을 유발한다는 일반적인 믿음을 도전하는 것 — 즉, 프로토콜 복잡성 때문이 아니라 다른 요인일 수 있음.

제안 방법

• 최소한의 네트워크 혼잡 조건에서 TCP-IP, UDP-IP, RDMA 프로토콜 간에 통제된 네트워크 실험을 수행하여 OS 수준의 영향을 분리한다.
• 대역폭 활용도를 다양하게 설정하여 라운드트립 시간(RTT)을 측정함으로써 부하가 꼬리 지연 시간에 미치는 영향을 평가한다.
• UDP-IP를 제어 조건으로 사용하여 흐름 제어 및 재전송 기능 등 TCP 고유의 기능이 극단적인 꼬리 지연의 원인가를 배제한다.
• 프로토콜 간 RTT 분포를 비교하며, 99번째 백분위수 지연 시간과 극단적인 이질적 값(예: 중앙값의 110배)을 중심으로 분석한다.
• RDMA의 사용자 모드에서 OS 커널 스택을 우회함으로써 커널 프로토콜 스택의 영향을 제거하고 기준 꼬리 행동을 평가한다.
• 원인 제거 추론 기법을 적용: 네트워크 요인, TCP 복잡성, 사용자 모드 소프트웨어를 배제한 결과, 커널 프로토콜 스택가 가장 가능성 있는 원인으로 남는다.

실험 결과

연구 질문

• RQ1 네트워크 혼잡과 라우팅 요인이 제거된 상황에서 네트워크 프로토콜의 극단적인 꼬리 지연 시간은 무엇에 기인하는가?
• RQ2 TCP-IP의 추가적인 복잡성(예: 3-way handshake, 흐름 제어)이 UDP-IP에 비해 꼬리 지연 시간을 유의미하게 증가시키는가?
• RQ3 운영 체제 커널의 네트워크 프로토콜 스택이 현대 저지연 시스템에서 극단적인 지연 이상 현상의 주요 원인일 수 있는가?
• RQ4 TCP의 신뢰성 메커니즘을 갖지 않은 UDP-IP 라운드트립에서도 왜 여전히 막대한 꼬리 피크가 발생하는가?
• RQ5 RDMA의 커널 우회 설계 방식은 꼬리 지연 시간 행동에서 어떻게 다를 수 있으며, 이는 극단적인 꼬리 지연의 근본 원인을 어떻게 시사하는가?

주요 결과

• 네트워크 혼잡이 없는 조건에서도 TCP-IP 라운드트립 측정에서 중앙값 대비 최대 110배 높은 극단적인 꼬리 지연 시간이 관측되었다.
• UDP-IP 역시 유사한 극단적인 꼬리 지연 시간을 보였으며, 이는 재전송 및 흐름 제어와 같은 TCP 고유의 프로토콜 동작이 이상 현상의 근본 원인이 아님을 배제한다.
• RDMA 라운드트립 시간은 최대 150 µs이며 심각한 꼬리 피크가 없었으며, 이는 OS 커널 프로토콜 스택이 극단적인 지연 꼬리의 주요 원인임을 시사한다.
• RDMA에서 OS 커널의 영향이 제거된 상태에서 지속적인 꼬리 지연이 TCP/UDP-IP에서 관측됨에 따라, OS 프로토콜 스택 — 특히 다중 메모리 복사 및 시스템 인터럽트의 필요성 — 이 주요 병목임을 확인한다.
• 이 연구는 TCP-IP가 UDP-IP보다 본질적으로 더 나쁜 꼬리 지연 시간을 유발한다는 가정을 도전하며, 동일 조건에서 두 프로토콜 모두 유사한 극단적인 꼬리 지연 행동을 보임을 입증한다.
• 오래된, 느린 CPU를 고려해 최적화된 전통적인 네트워크 프로토콜 설계는 이제 더 이상 계산 지연에 의해 가려지지 않으며, 현대 시스템에서는 밀리초 수준의 꼬리 지연으로 드러나고 있다.