[论文解读] Benchmarking Big Data Systems: State-of-the-Art and Future Directions

Rui Han, Zhen Jia+3 more|arXiv (Cornell University)|Jun 4, 2015

Cloud Computing and Resource Management参考文献 17被引用 7

一句话总结

本文全面综述了大数据基准测试，识别出在保持 4V 属性（体量、速度、多样性、真实性）的同时生成真实工作负载的关键挑战，并支持多样化的软件栈和系统实现。论文提出了一套下一代基准测试的设计框架，强调全面性、可扩展性以及对真实世界工作负载的代表性，重点关注应对系统复杂性的演变和异构硬件平台的需求。

ABSTRACT

The great prosperity of big data systems such as Hadoop in recent years makes the benchmarking of these systems become crucial for both research and industry communities. The complexity, diversity, and rapid evolution of big data systems gives rise to various new challenges about how we design generators to produce data with the 4V properties (i.e. volume, velocity, variety and veracity), as well as implement application-specific but still comprehensive workloads. However, most of the existing big data benchmarks can be described as attempts to solve specific problems in benchmarking systems. This article investigates the state-of-the-art in benchmarking big data systems along with the future challenges to be addressed to realize a successful and efficient benchmark.

研究动机与目标

• 识别由于现代大数据系统复杂性、多样性及快速演进而带来的基准测试关键挑战。
• 分析当前的基准测试技术，指出在支持具有 4V 属性的真实、特定应用工作负载方面的差距。
• 提出设计下一代基准测试的基础，确保其全面性、可扩展性，并能真实反映现实世界的数据与系统行为。
• 解决在异构硬件平台（例如 Xeon+GPGPU、Xeon+MIC）上统一接口的需求，以实现性能与能效评估的公平比较。
• 探索将实际工作负载轨迹和性能分析数据整合，以提升基准测试的真实性和可扩展性。

提出的方法

• 基于 4V 属性系统性地对大数据系统进行分类：体量（数据规模）、速度（数据生成/处理速度）、多样性（数据类型）和真实性（数据保真度）。
• 提出一种基准测试方法论，强调使用实际应用轨迹和性能分析数据来实现真实的数据生成与工作负载实现。
• 提出一种工作负载生成框架，支持多样化的软件栈（例如 Hadoop、Spark），并捕捉应用语义与资源需求。
• 强调使用真实工作负载轨迹以建模真实的工作负载到达模式与系统行为的重要性。
• 针对内存计算系统（如 Spark）的基准测试挑战，考虑其内存管理复杂性以及压缩与序列化带来的 CPU-内存权衡。
• 倡导扩展基准测试以支持具有统一接口的异构硬件平台，从而实现在不同系统与软件栈之间的公平比较。

实验结果

研究问题

• RQ1 如何设计数据生成器以在大数据基准测试中保持 4V 属性（体量、速度、多样性、真实性）？
• RQ2 哪些技术能够实现特定应用的工作负载，同时在多样化的系统架构与软件栈中保持全面性与代表性？
• RQ3 如何有效利用真实世界的工作负载轨迹与性能分析数据，以生成真实且可扩展的基准测试工作负载？
• RQ4 在基准测试内存计算系统（如 Spark）时，会面临哪些挑战，特别是关于内存使用与 CPU 利用率的问题？
• RQ5 如何扩展大数据基准测试以支持异构硬件平台（例如 Xeon+GPGPU、Xeon+MIC），以实现性能与能效评估的公平性？

主要发现

• 现有大数据基准测试通常聚焦于解决特定问题，未能全面涵盖 4V 属性，也缺乏对多样化软件栈与系统实现的支持。
• 目前缺乏能够在多尺度下生成工作负载、同时保持真实大数据工作负载混合特征及其资源需求的基准测试。
• 分析真实应用日志是捕捉真实工作负载到达模式的有前景方法，但将其整合到基准测试生成中仍是一个开放挑战。
• 内存计算系统（如 Spark）因复杂的内存管理（例如基于 JVM）以及压缩与序列化带来的 CPU-内存权衡，引入了独特的基准测试挑战。
• 异构硬件平台在提升数据处理效率方面具有潜力，但当前基准测试缺乏在这些平台上统一评估工作负载的能力。
• 目前尚无任何基准测试能同时完整支持真实工作负载生成与跨平台、跨软件栈的评估，凸显了该领域中的关键空白。