[논문 리뷰] Taming Tail Latency for Erasure-coded, Distributed Storage Systems

Vaneet Aggarwal, Abubakr O. Al-Abbasi외 2명|arXiv (Cornell University)|2017. 03. 24.

Advanced Data Storage Technologies참고 문헌 19인용 수 13

한 줄 요약

이 논문은 에러 복구 코드 적용 분산 스토리지 시스템에서 尾尾 지연(latency)을 최소화하기 위해 파일 배치, 접근 확률, 요청 스케줄링을 함께 모델링하는 확률적 스케줄링 및 최적화 프레임워크를 제안한다. 라플라스-스틸리지 변환(Laplace-Stieltjes transforms)과 교차 최적화를 통해 尾尾 지연의 폐쇄형 경계를 도출함으로써 실제 워크로드 환경에서 99.9번째 백분위수 지연(latency)을 크게 감소시킨다.

ABSTRACT

Distributed storage systems are known to be susceptible to long tails in response time. In modern online storage systems such as Bing, Facebook, and Amazon, the long tails of the service latency are of particular concern. with 99.9th percentile response times being orders of magnitude worse than the mean. As erasure codes emerge as a popular technique to achieve high data reliability in distributed storage while attaining space efficiency, taming tail latency still remains an open problem due to the lack of mathematical models for analyzing such systems. To this end, we propose a framework for quantifying and optimizing tail latency in erasure-coded storage systems. In particular, we derive upper bounds on tail latency in closed form for arbitrary service time distribution and heterogeneous files. Based on the model, we formulate an optimization problem to jointly minimize the weighted latency tail probability of all files over the placement of files on the servers, and the choice of servers to access the requested files. The non-convex problem is solved using an efficient, alternating optimization algorithm. Numerical results show significant reduction of tail latency for erasure-coded storage systems with a realistic workload.

연구 동기 및 목표

• 99.9번째 백분위수 응답 시간이 평균보다 수개월 정도 더 나쁠 수 있는 에러 복구 코드 적용 분산 스토리지 시스템에서 높은 尾尾 지연 문제를 해결한다.
• 尾尾 지연이 가장 느린 스토리지 노드에 의해 지배되며, 공유 서버에서 동시 발생하는 청크 요청 간섭으로 악화됨을 규명한다.
• 이질적인 파일들에 대해 가중 尾尾 지연 확률을 최소화하기 위해 파일 배치(S), 접근 확률(π), 스케줄링 임계치(t)를 동시에 최적화하는 문제를 수립한다.
• 임의의 서비스 시간 분포에 대해 적용 가능한, 라플라스-스틸리지 변환과 순서 통계를 활용한 확장 가능한 분석 모델을 개발하여 尾尾 지연을 경계한다.
• 비볼록 최적화 문제를 해결하기 위한 효율적인 교차 최적화 알고리즘을 설계하고, 시뮬레이션을 통해 성능 향상을 검증한다.

제안 방법

• 파일 요청 시, 사전 정의된 확률로 n개의 스토리지 노드 중 k개를 선택해 k개의 청크 요청을 전송하는 확률적 스케줄링 정책을 시스템에 적용한다.
• 각 스토리지 노드의 마진 큐잉 지연 분포를 특징짓기 위해 라플라스-스틸리지 변환(Laplace-Stieltjes transform, LST)을 사용하여 尾尾 지연 분석을 가능하게 한다.
• 순서 통계와 확률적 지배 관계를 활용해 임의의 서비스 시간 분포 및 이질적인 파일 크기에 대해 폐쇄형 상한 경계를 유도한다.
• 파일 배치(S), 접근 확률(π), 스케줄링 임계치(t)에 대해 가중 尾尾 지연 확률을 동시에 최소화하기 위한 비볼록 최적화 문제를 수립한다.
• 다른 변수들을 고정하면서 S, π, t를 번갈아가며 갱신하는 교차 최적화 알고리즘을 적용하여 국소 최적해에 수렴함을 보장한다.
• 파일 크기의 영향을 반영하기 위해 이동 지수 서비스 모델에 워크로드 인식 매개변수(α, β)를 통합한다.

실험 결과

연구 질문

• RQ1 임의의 서비스 시간 분포와 이질적인 파일 워크로드 하에서 에러 복구 코드 적용 분산 스토리지 시스템의 尾尾 지연을 분석적으로 어떻게 경계할 수 있는가?
• RQ2 파일 배치, 접근 확률, 스케줄링 임계치의 공동 최적화가 가중 尾尾 지연을 최소화하는 데 미치는 영향은 무엇인가?
• RQ3 고부하 환경에서 최소 큐 길이 선택과 같은 결정론적 전략보다 확률적 스케줄링이 尾尾 지연을 줄이는 데 더 우수한 성능을 보일 수 있는가?
• RQ4 파일 도착률, 크기, 지연 민감도 가중치가 전체 尾尾 지연 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 최적화는 PEAP 및 WLTP와 같은 기준 정책 대비 99.9번째 백분위수 지연을 얼마나 줄이는가?

주요 결과

• 제안된 최적화 프레임워크는 모든 파일 그룹에서 가중 尾尾 지연 확률을 크게 감소시켜, 평가된 모든 시나리오에서 PEAP 및 WLTP와 같은 기준 정책보다 뛰어난 성능을 보였다.
• 시뮬레이션 결과, 높은 도착률과 높은 민감도를 가진 파일에 대해 알고리즘이 효과적으로 尾尾 지연을 최소화함을 확인했으며, 특히 가장 높은 지연 민감도 그룹(ω₃)이 더 높은 부하에도 불구하고 가장 낮은 尾尾 확률을 달성했다.
• 파일 수를 200개에서 1200개로 증가시키면 가중 尾尾 지연 확률이 증가하지만, 최적화 알고리즘이 파일 배치 및 접근 정책을 공동 재최적화함으로써 성능 저하를 최소화한다.
• 더 큰 파일 크기(최대 700 MB)는 尾尾 지연을 증가시키지만, 최적화된 스케줄링 및 배치를 통해 제안된 알고리즘이 기준 정책보다 훨씬 낮은 尾尾 확률을 유지한다.
• 다양한 도착률과 파일 수에서 PEAP 및 WLTP보다 낮은 尾尾 지연을 달성하여, 다이나믹 워크로드 환경에서도 뛰어난 강건성을 입증했다.
• 교차 최적화 알고리즘이 효율적으로 수렴하며, 파일 배치, 접근 확률, 스케줄링 임계치의 공동 최적화를 가능하게 하여 실제 워크로드에서 측정 가능한 성능 향상을 이룬다.