[论文解读] Anomaly Analysis for Co-located Datacenter Workloads in the Alibaba Cluster

Rui Ren, Jinheng Li+3 more|arXiv (Cornell University)|Nov 14, 2018

Cloud Computing and Resource Management参考文献 15被引用 5

一句话总结

本文分析了阿里巴巴共置数据中心工作负载追踪数据，以识别由工作负载失衡和调度低效引起的性能异常。通过基于DTW的节点相似性、iForest异常检测以及工作负载分布分类，研究发现：与长期运行的在线容器相比，短时批处理作业的内存利用率极不稳定；8种不同的工作负载分布类别可解释大多数节点的资源利用率模式，且失衡是主要异常成因。

ABSTRACT

In warehouse-scale cloud datacenters, co-locating online services and offline batch jobs is an efficient approach to improving datacenter utilization. To better facilitate the understanding of interactions among the co-located workloads and their real-world operational demands, Alibaba recently released a cluster usage and co-located workload dataset, which is the first publicly dataset with precise information about the category of each job. In this paper, we perform a deep analysis on the released Alibaba workload dataset, from the perspective of anomaly analysis and diagnosis. Through data preprocessing, node similarity analysis based on Dynamic Time Warping (DTW), co-located workloads characteristics analysis and anomaly analysis based on iForest, we reveals several insights including: (1) The performance discrepancy of machines in Alibaba's production cluster is relatively large, for the distribution and resource utilization of co-located workloads is not balanced. For instance, the resource utilization (especially memory utilization) of batch jobs is fluctuating and not as stable as that of online containers, and the reason is that online containers are long-running jobs with more memory-demanding and most batch jobs are short jobs, (2) Based on the distribution of co-located workload instance numbers, the machines can be classified into 8 workload distribution categories1. And most patterns of machine resource utilization curves are similar in the same workload distribution category. (3) In addition to the system failures, unreasonable scheduling and workload imbalance are the main causes of anomalies in Alibaba's cluster.

研究动机与目标

• 调查阿里巴巴共置数据中心集群中性能差异与资源利用率失衡问题。
• 基于共置工作负载分布模式对节点进行分类，并评估其对资源利用率曲线的影响。
• 检测异常节点，并诊断系统故障之外的异常根本原因。
• 评估iForest与基于DTW的方法在识别真实生产追踪中性能异常的有效性。

提出的方法

• 对阿里巴巴集群追踪数据执行全面的数据预处理，包括数据补全、过滤、相关性分析与聚合，生成容器级、批处理级和服务器级的资源使用度量指标。
• 应用动态时间规整（DTW）计算基于CPU、内存和磁盘使用时间模式的节点相似性，从而在正常条件下识别出同类节点。
• 根据每个节点上的在线容器数和批处理作业数，将机器划分为8类工作负载分布模式，揭示了每类内部一致的利用率模式。
• 采用iForest算法进行异常检测，通过建模正常行为并识别资源使用模式显著偏离的节点。
• 通过关联异常节点与调度策略、工作负载偏斜及资源争用，分析检测到的异常的根本原因。
• 使用阿里巴巴仓储规模数据中心的真实生产追踪数据验证研究结果，重点关注内存和CPU利用率的动态变化。

实验结果

研究问题

• RQ1 在共置数据中心工作负载中，长期运行的在线容器与短时批处理作业的资源利用率模式有何差异？
• RQ2 工作负载分布模式（如每个节点的容器数和批处理作业数）在多大程度上决定了节点间资源利用率曲线的相似性？
• RQ3 在排除硬件故障后，阿里巴巴共置集群中性能异常的主要成因是什么？
• RQ4 当结合基于DTW的节点相似性时，iForest在真实数据中心追踪中检测异常的有效性如何？
• RQ5 能否利用工作负载分布类别来预测并解释节点级性能差异？

主要发现

• 阿里巴巴生产集群中机器间的性能差异显著，主要源于工作负载分布不均以及短时批处理作业相比稳定运行的长期在线容器，其内存利用率波动剧烈。
• 可根据每个节点上的在线容器数和批处理作业数，将机器划分为8类不同的工作负载分布模式，且同一类别内的节点在CPU、内存和磁盘指标上的资源利用率模式高度相似。
• 由于批处理作业持续时间短且具有突发性，其内存利用率极不稳定且波动剧烈；而在线容器则能长期保持稳定的内存消耗。
• 基于iForest的异常检测方法成功识别出异常节点，其主要成因被追溯为调度低效和工作负载失衡，而非硬件故障。
• 工作负载偏斜的节点（如机器1039，其承载了71个批处理作业但仅一个在线容器）表现出异常的资源利用率，凸显了共置失衡的影响。
• 系统级异常通常由工作负载间干扰和不良调度决策引发，尤其在内存受限环境中，批处理作业与内存密集型在线服务之间的竞争尤为突出。