[论文解读] Characterizing Data Analysis Workloads in Data Centers

Zhen Jia, Lei Wang+3 more|arXiv (Cornell University)|Jul 30, 2013

Cloud Computing and Resource Management参考文献 16被引用 12

一句话总结

本论文通过在现代超标量乱序执行处理器上使用硬件性能计数器，对来自主要互联网领域（搜索、社交网络和电子商务）的11个代表性数据处理工作负载进行了特征分析。研究发现，这些工作负载表现出独特的微架构特性，如比服务类工作负载更高的IPC（每时钟周期指令数）和独特的流水线停顿模式（57%发生在乱序执行流水线阶段），与桌面、高性能计算（HPC）及服务类工作负载显著不同，因此发布了用于数据中心研究的开源DCBench基准测试套件。

ABSTRACT

As the amount of data explodes rapidly, more and more corporations are using data centers to make effective decisions and gain a competitive edge. Data analysis applications play a significant role in data centers, and hence it has became increasingly important to understand their behaviors in order to further improve the performance of data center computer systems. In this paper, after investigating three most important application domains in terms of page views and daily visitors, we choose eleven representative data analysis workloads and characterize their micro-architectural characteristics by using hardware performance counters, in order to understand the impacts and implications of data analysis workloads on the systems equipped with modern superscalar out-of-order processors. Our study on the workloads reveals that data analysis applications share many inherent characteristics, which place them in a different class from desktop (SPEC CPU2006), HPC (HPCC), and service workloads, including traditional server workloads (SPECweb2005) and scale-out service workloads (four among six benchmarks in CloudSuite), and accordingly we give several recommendations for architecture and system optimizations. On the basis of our workload characterization work, we released a benchmark suite named DCBench for typical datacenter workloads, including data analysis and service workloads, with an open-source license on our project home page on http://prof.ict.ac.cn/DCBench. We hope that DCBench is helpful for performing architecture and small-to-medium scale system researches for datacenter computing.

研究动机与目标

• 为了理解现代数据中心中数据处理工作负载的性能特征，这对系统与架构优化至关重要。
• 识别数据处理工作负载与传统工作负载（如SPEC CPU2006、HPCC、SPECweb2005和CloudSuite基准）之间的差异。
• 通过选择更大、更真实的输入数据集和完整执行流程，解决现有基准测试的局限性，例如CloudSuite对服务类工作负载和小数据集的偏向。
• 开发并发布一个新的开源基准测试套件DCBench，以支持数据中心计算的架构与系统研究。
• 为针对性优化提供关于微架构行为（如指令缓存效率低下、分支预测错误和流水线停顿）的深入洞察。

提出的方法

• 基于页面浏览量和日活跃用户数，从高流量领域（搜索、社交网络和电子商务）中选取11个代表性数据处理工作负载。
• 使用硬件性能计数器在预热后对完整执行流程收集微架构指标（如IPC、停顿分解、缓存未命中、分支预测错误）。
• 部署了大容量输入数据集（147–187 GB），数据存储于内存与磁盘中，不同于以往基准测试所使用的较小内存数据集。
• 将工作负载与标准基准进行对比：SPEC CPU2006（桌面类）、HPCC（HPC类）、SPECweb2005（传统服务器类）和CloudSuite（横向扩展服务类）。
• 分析停顿分解，以区分前端停顿（发生在乱序执行之前）与乱序执行流水线停顿。
• 以开源许可证发布DCBench，支持多种编程模型（如MapReduce、MPI）和虚拟机镜像，以确保可复现性。

实验结果

研究问题

• RQ1 数据处理工作负载在微架构特性上与传统桌面、HPC和服务类工作负载有何不同？
• RQ2 在数据处理工作负载中，主要性能瓶颈是什么，特别是在流水线停顿和内存层次结构方面？
• RQ3 高级语言和第三方库在多大程度上影响数据中心工作负载中指令缓存和TLB的效率？
• RQ4 为何数据处理工作负载的分支预测错误率低于服务类和CPU类工作负载？
• RQ5 单一基准是否足以代表数据处理工作负载的多样性，还是需要一个多样化的基准套件才能实现准确的系统评估？

主要发现

• 数据处理工作负载的IPC（约1.5–2.0）高于服务类工作负载（IPC ~1.0–1.3），但低于HPC类工作负载（如HPC-HPL和HPC-DGEMM）。
• 在数据处理工作负载中，平均有57%的流水线停顿发生在乱序执行阶段，而服务类工作负载中该比例为73%，表明其瓶颈特征存在显著差异。
• 使用高级语言和第三方库会显著降低L1指令缓存和指令TLB的效率，成为性能瓶颈的重要成因。
• 由于算法中存在简单且规则的分支模式，数据处理工作负载的分支预测错误率低于服务类和SPEC CPU工作负载。
• DCBench基准测试套件以开源许可证发布，包含多样化的数据处理和服务类工作负载，支持多种编程模型和虚拟机镜像。
• 本研究证实，CloudSuite的四个横向扩展服务类工作负载与SPECweb2005具有相似的微架构特征，表明它们可被归为同一类服务工作负载。