[논문 리뷰] Low latency via redundancy

Ashish Vulimiri, P. Brighten Godfrey외 4명|arXiv (Cornell University)|2013. 06. 16.

Caching and Content Delivery참고 문헌 19인용 수 76

한 줄 요약

이 논문은 네트워크 시스템에서 평균 및 꼬리 지연 시간을 줄이기 위한 일반적인 기법으로, 다양한 자원을 통해 동일한 작업을 여러 번 실행하고 먼저 완료된 결과를 사용하는 冗 redundancy(중복)를 제안한다. 시스템 활용도가 50% 이하일 경우 중복이 지연 시간을 크게 향상시키며 최소한의 비용으로도 효과를 보임을 입증하며, DNS, 데이터베이스 및 네트워크 포워딩에서 최대 50배까지 꼬리 지연 시간을 감소시킴을 실험적으로 검증한다.

ABSTRACT

Low latency is critical for interactive networked applications. But while we know how to scale systems to increase capacity, reducing latency --- especially the tail of the latency distribution --- can be much more difficult. In this paper, we argue that the use of redundancy is an effective way to convert extra capacity into reduced latency. By initiating redundant operations across diverse resources and using the first result which completes, redundancy improves a system's latency even under exceptional conditions. We study the tradeoff with added system utilization, characterizing the situations in which replicating all tasks reduces mean latency. We then demonstrate empirically that replicating all operations can result in significant mean and tail latency reduction in real-world systems including DNS queries, database servers, and packet forwarding within networks.

연구 동기 및 목표

• 중복이 자원 사용량 증가에도 불구하고 지연 시간을 개선하는 조건을 이해하는 것.
• 중복 시스템에서 지연 시간 감소와 자원 비용 간의 상호 교환 관계를 규명하는 것.
• 실세계 시스템인 DNS, 데이터베이스 및 패킷 포워딩에서 중복의 실증적 검증을 수행하는 것.
• 중복이 비용 효율적이고 광범위하게 적용 가능한 조건을 규명하는 것.
• 네트워크 시스템에서 일반적인 저지연 시간 기법으로 중복의 보편적 도입을 촉진하는 것.

제안 방법

• 시스템 활용도와 서비스 시간 분포에 따라 기대 응답 시간을 분석하기 위한 큐잉 모델을 개발한다.
• 다양한 서비스 시간 분포와 부하 수준에서 중복의 영향을 평가하기 위해 시뮬레이션을 수행한다.
• 실제 시스템에서의 지연 시간 감소를 측정하기 위해 DNS 쿼리, 데이터베이스 작업 및 TCP 연결 설정을 실험한다.
• 여러 DNS 서버에 대해 중복 쿼리와 단일 쿼리를 비교하여 꼬리 지연 시간 향상 정도를 측정한다.
• 추가된 트래픽 또는 대역폭 단위당 지연 시간 절감량을 비교하여 비용 효율성을 분석한다.
• 광역망 및 데이터센터 환경 모두에서 중복을 평가하며, 경로 다각도가 있는 경우와 없는 경우를 모두 고려한다.

실험 결과

연구 질문

• RQ1 자원 사용량이 두 배로 증가함에도 불구하고 중복이 평균 및 꼬리 지연 시간을 줄이는 데 효과가 있는 시스템 활용도 조건은 무엇인가?
• RQ2 서비스 시간 분포가 중복을 통한 지연 시간 감소 효과에 어떤 영향을 미치는가?
• RQ3 지연 시간 감소 효과를 극대화하면서도 비용 효율성을 유지할 수 있는 최적의 중복 쿼리 수는 얼마인가?
• RQ4 어떤 실세계 시스템에서 중복이 측정 가능한 성능 향상을 제공하는가?
• RQ5 프리패칭 또는 캐싱과 같은 다른 지연 시간 감소 기법과 비교해 중복은 어떻게 다른가?

주요 결과

• 단일 쿼리 대비 중복을 사용할 경우, 500ms를 초과하는 DNS 응답 비율은 6.5배 감소하고, 1.5초를 초과하는 응답 비율은 50배 감소한다.
• 시스템 활용도가 50% 이하일 경우, 서비스 시간 분포에 관계없이 항상 평균 지연 시간이 감소한다.
• 중복이 효과를 발휘하는 임계점은 활용도 25%에서 50% 사이에 위치하며, 서비스 시간 분산이 증가할수록 50%에 가까워진다.
• TCP SYN 패킷을 복제하면 평균 지연 시간이 약 170ms 감소하고, 꼬리 지연 시간은 약 880ms 감소한다.
• 클라이언트 비용이 셀룰러 데이터가 아닌 DSL 기반일 경우, 중복의 비용 효율성이 브레이크이븐 임계점보다 100배 이상 뛰어나다.
• 중복은 이중화된 시스템 활용도를 고려하더라도 다양한 시스템에서 네거티브 영향 없이 긍정적인 영향을 미친다.