[论文解读] Tail Index for a Distributed Storage System with Pareto File Size Distribution

Vaneet Aggarwal, Tian Lan|arXiv (Cornell University)|Jul 20, 2016

Advanced Data Storage Technologies参考文献 23被引用 4

一句话总结

本文提出了一套数学框架，用于量化具有帕累托分布文件大小的纠删码分布式存储系统中的尾部延迟。通过概率化建模数据块请求调度，并利用拉普拉斯-史蒂尔杰斯变换分析排队行为，证明了系统延迟的尾部指数恰好为 α−1，且一类概率调度算法可实现这一最优尾部指数，使其在最小化长尾响应时间方面渐近最优。

ABSTRACT

Distributed storage systems often employ erasure codes to achieve high data reliability while attaining space efficiency. Such storage systems are known to be susceptible to long tails in response time. It has been shown that in modern online applications such as Bing, Facebook, and Amazon, the long tail of latency is of particular concern, with $99.9$th percentile response times that are orders of magnitude worse than the mean. Taming tail latency is very challenging in erasure-coded storage systems since quantify tail latency (i.e., $x$th-percentile latency for arbitrary $x\in[0,1]$) has been a long-standing open problem. In this paper, we propose a mathematical model to quantify {\em tail index} of service latency for arbitrary erasure-coded storage systems, by characterizing the asymptotic behavior of latency distribution tails. When file size has a heavy tailed distribution, we find tail index, defined as the exponent at which latency tail probability diminishes to zero, in closed-form, and further show that a family of probabilistic scheduling algorithms are (asymptotically) optimal since they are able to achieve the exact tail index.

研究动机与目标

• 为解决纠删码分布式存储系统中尾部延迟量化这一长期存在的开放问题。
• 在文件大小服从重尾帕累托分布的条件下，对延迟分布尾部的渐近行为进行建模与分析。
• 确定概率调度策略是否能够实现最优的尾部指数性能。
• 建立系统整体延迟尾部指数的理论界并证明其可实现性。

提出的方法

• 作者将每个存储节点建模为独立的 M/G/1 队列，具有泊松到达和指数服务时间，利用拉普拉斯-史蒂尔杰斯变换推导数据块请求等待时间的尾部概率。
• 当文件大小服从形状参数为 α 的帕累托分布时，他们将单个服务器的等待时间尾部指数表征为 α−1。
• 采用理想化上界论证，将所有 n 个服务器合并为一个虚拟服务器，以证明任何系统都无法实现优于 α−1 的尾部指数。
• 将概率调度形式化为：以固定概率将 k 个数据块请求分发到 n 个节点中的 k 个，确保每个服务器看到的到达率为与 k/n 成比例的泊松过程。
• 整体文件延迟由 k 个数据块延迟的最大值所界定；通过在 k 个服务器上使用并集界，证明在概率调度下尾部指数仍保持为 α−1。
• 分析利用了正常变函数的性质以及不完全伽马函数的渐近行为，以推导出尾部指数。

实验结果

研究问题

• RQ1 当文件大小服从帕累托分布时，纠删码存储系统中尾部延迟的根本极限是什么？
• RQ2 概率调度能否实现系统延迟的最优尾部指数？
• RQ3 单个服务器队列的尾部指数如何影响整体文件延迟分布？
• RQ4 帕累托形状参数 α 在决定系统尾部行为方面起什么作用？

主要发现

• 当文件大小服从形状参数为 α 的帕累托分布时，单个服务器上等待时间分布的尾部指数恰好为 α−1。
• 无论服务器数量或纠删码参数如何，整体系统延迟的尾部指数均被上界限定为 α−1。
• 概率调度策略实现了最优的尾部指数 α−1，使其在最小化长尾响应时间方面渐近最优。
• 只要服务器数量有限且各服务器的块访问模式一致，即使服务器数量超过 n，该结果依然成立。
• 尾部指数由 k 个数据块请求中最慢的一个决定，且由于正常变函数之和的性质，并集界可保持 α−1 的尾部指数。
• 分析证实，系统的尾部行为由重尾程度最高的组件主导，且任何调度策略都无法实现优于 α−1 的尾部指数。