[논문 리뷰] Tail Index for a Distributed Storage System with Pareto File Size Distribution

Vaneet Aggarwal, Tian Lan|arXiv (Cornell University)|2016. 07. 20.

Advanced Data Storage Technologies참고 문헌 23인용 수 4

한 줄 요약

이 논문은 파일 크기가 파레토 분포를 따르는 에러 코딩된 분산 스토리지 시스템에서 꼬리 지연 시간을 정량화하기 위한 수학적 프레임워크를 제안한다. 조각 요청 스케줄링을 확률적으로 모델링하고 라플라스-스틸리지 변환을 통해 큐잉 행동을 분석함으로써, 시스템 지연 시간의 꼬리 지수는 정확히 α−1임을 증명하며, 이는 확률적 스케줄링 알고리즘의 일족이 최적의 꼬리 지수를 달성함을 보여주어 장시간 응답 시간을 최소화하는 데 점근적으로 최적임을 의미한다.

ABSTRACT

Distributed storage systems often employ erasure codes to achieve high data reliability while attaining space efficiency. Such storage systems are known to be susceptible to long tails in response time. It has been shown that in modern online applications such as Bing, Facebook, and Amazon, the long tail of latency is of particular concern, with $99.9$th percentile response times that are orders of magnitude worse than the mean. Taming tail latency is very challenging in erasure-coded storage systems since quantify tail latency (i.e., $x$th-percentile latency for arbitrary $x\in[0,1]$) has been a long-standing open problem. In this paper, we propose a mathematical model to quantify {\em tail index} of service latency for arbitrary erasure-coded storage systems, by characterizing the asymptotic behavior of latency distribution tails. When file size has a heavy tailed distribution, we find tail index, defined as the exponent at which latency tail probability diminishes to zero, in closed-form, and further show that a family of probabilistic scheduling algorithms are (asymptotically) optimal since they are able to achieve the exact tail index.

연구 동기 및 목표

• 에러 코딩된 분산 스토리지 시스템에서 꼬리 지연 시간을 정량화하는 데 오랫동안 열려 있던 문제를 해결하기 위해.
• 파일 크기가 무거운 尾 꼬리 파레토 분포를 따를 때 지연 시간 분포 꼬리의 점근적 행동을 모델링하고 분석하기 위해.
• 확률적 스케줄링 정책이 최적의 꼬리 지수 성능을 달성할 수 있는지 여부를 규명하기 위해.
• 시스템 전체 지연 시간에 대한 꼬리 지수의 이론적 상한과 달성 가능성 설정하기 위해.

제안 방법

• 저자는 각 스토리지 노드를 포아송 도착과 지수 분포 서비스 시간을 가지는 독립적인 M/G/1 큐로 모델링하고, 라플라스-스틸리지 변환을 사용하여 조각 요청 대기 시간의 꼬리 확률을 유도한다.
• 파일 크기가 형상 매개수 α를 가진 파레토 분포를 따를 경우, 단일 서버에서의 대기 시간 꼬리 지수를 α−1로 특성화한다.
• 모든 n개의 서버를 하나의 가상 서버로 통합하여, 어떤 시스템도 α−1보다 더 좋은 꼬리 지수를 달성할 수 없음을 보여주는 지네-보조 상한 근거를 사용한다.
• 확률적 스케줄링은 고정 확률로 k개의 조각 요청을 n개의 노드 중 k개로 배분하는 것으로 공식화되며, 각 서버가 비율 k/n에 비례하는 도착률을 가지는 포아송 도착 과정을 경험하게 한다.
• 전체 파일 지연 시간은 k개의 조각 지연 시간 중 최댓값으로 제한되며, k개 서버에 대한 유니온 바운드를 사용하여 확률적 스케줄링 하에서도 꼬리 지수가 여전히 α−1로 유지됨을 보여준다.
• 분석은 정규적으로 변화하는 함수의 성질과 정규 불완전 감마 함수의 점근적 행동을 활용하여 꼬리 지수를 도출한다.

실험 결과

연구 질문

• RQ1 파일 크기가 파레토 분포를 따를 때, 에러 코딩된 스토리지 시스템에서 꼬리 지연 시간의 기본 한계는 무엇인가?
• RQ2 확률적 스케줄링은 시스템 지연 시간의 최적 꼬리 지수를 달성할 수 있는가?
• RQ3 개별 서버 큐의 꼬리 지수가 전체 파일 지연 시간 분포에 어떻게 기여하는가?
• RQ4 파레토 형상 매개수 α는 시스템의 꼬리 행동을 결정하는 데 어떤 역할을 하는가?

주요 결과

• 파일 크기가 형상 매개수 α를 가진 파레토 분포를 따를 경우, 단일 서버에서의 대기 시간 분포 꼬리 지수는 정확히 α−1이다.
• 전체 시스템 지연 시간의 꼬리 지수는 서버 수나 에러 코딩 매개수와 관계없이 α−1로 상한이 둔다.
• 확률적 스케줄링 정책은 최적의 꼬리 지수 α−1를 달성하며, 이는 장시간 응답 시간을 최소화하는 데 점근적으로 최적임을 의미한다.
• 서버 수가 n을 초과하더라도, 서버 수가 유한하고 각 서버 간 조각 접근 패턴이 일관된 한 결과는 유지된다.
• 꼬리 지수는 k개의 조각 요청 중 가장 느린 요청에 의해 결정되며, 정규적으로 변화하는 함수의 합으로 인해 k개 서버에 대한 유니온 바운드가 α−1 꼬리 지수를 유지한다.
• 분석 결과 시스템의 꼬리 행동은 가장 꼬리가 무거운 성분에 의해 지배되며, 어떤 스케줄링 정책도 α−1보다 더 좋은 꼬리 지수를 달성할 수 없음을 확인한다.