[论文解读] BigOP: Generating Comprehensive Big Data Workloads as a Benchmarking Framework

Yuqing Zhu, Jianfeng Zhan+5 more|arXiv (Cornell University)|Jan 26, 2014

Cloud Computing and Resource Management参考文献 13被引用 5

一句话总结

BigOP 提出了一种全面的基准测试框架，通过从关系代数和真实工作负载中抽象出基本处理操作与工作负载模式，实现灵活且具有代表性的测试。该框架通过可定制的测试处方（结合操作、模式、数据集和度量指标）支持灵活、可扩展的测试，为现有基准测试提供更广泛的数据类型和处理工作负载覆盖范围的可扩展、可扩展替代方案。

ABSTRACT

Big Data is considered proprietary asset of companies, organizations, and even nations. Turning big data into real treasure requires the support of big data systems. A variety of commercial and open source products have been unleashed for big data storage and processing. While big data users are facing the choice of which system best suits their needs, big data system developers are facing the question of how to evaluate their systems with regard to general big data processing needs. System benchmarking is the classic way of meeting the above demands. However, existent big data benchmarks either fail to represent the variety of big data processing requirements, or target only one specific platform, e.g. Hadoop. In this paper, with our industrial partners, we present BigOP, an end-to-end system benchmarking framework, featuring the abstraction of representative Operation sets, workload Patterns, and prescribed tests. BigOP is part of an open-source big data benchmarking project, BigDataBench. BigOP's abstraction model not only guides the development of BigDataBench, but also enables automatic generation of tests with comprehensive workloads. We illustrate the feasibility of BigOP by implementing an automatic test generation tool and benchmarking against three widely used big data processing systems, i.e. Hadoop, Spark and MySQL Cluster. Three tests targeting three different application scenarios are prescribed. The tests involve relational data, text data and graph data, as well as all operations and workload patterns. We report results following test specifications.

研究动机与目标

• 解决现有基准测试在覆盖大数据处理工作负载全谱方面（超越基本存储与分析）缺乏全面性与可扩展性的问题。
• 提供处理操作与工作负载模式的统一抽象，以支持特定应用与通用场景的基准测试。
• 通过基于操作、模式、数据集和可测量度量指标的标准化测试处方，实现跨系统比较。
• 克服现有基准测试（如 YCSB、TPC-DS 和 BigBench）的局限性，纳入迭代处理与非结构化数据工作负载。
• 通过渐进式、可扩展的设计支持不断演进的基准测试需求，允许未来扩展操作与模式。

提出的方法

• 从关系代数中抽象出五个原语操作——筛选、投影、笛卡尔积、并集和差集——作为核心处理操作，按数据集参与情况分类为元素级、单集或双集操作。
• 在原语操作基础上扩展常见大数据操作，如 put、get、delete、transform、order by 和聚合操作，强调其在处理非结构化数据中的作用。
• 基于操作组合与执行语义，定义三种工作负载模式——单操作、多操作和迭代处理，其中迭代模式支持动态、条件驱动的执行。
• 引入“测试处方”作为标准化测试规范，结合选定的操作与模式、数据集（真实或合成）、工作负载生成方法以及吞吐量和延迟等性能度量指标。
• 实例化三种代表性测试处方：快速存储（OLTP 类似）、日志监控（流式分析）和 PageRank（迭代图计算），每种均反映真实世界用例。
• 使用数据生成工具（如 BDGS）和工作负载注入策略（如 5000 次操作/秒）模拟大数据的速度与体量特性，确保被测系统（SUT）的内存压力。

实验结果

研究问题

• RQ1 如何通过基准测试框架全面表征大数据处理工作负载的多样性，包括结构化与非结构化数据，以及不同处理模式？
• RQ2 与 YCSB、TPC-DS 和 BigBench 等现有基准测试相比，BigOP 对操作与模式的抽象在提升基准测试灵活性与覆盖范围方面达到何种程度？
• RQ3 是否能通过形式化框架有效建模与基准测试常见的图计算与机器学习工作负载中的迭代处理模式？
• RQ4 如何设计工作负载处方，以确保在不同大数据系统中既具备真实性又可复现，同时支持特定应用与通用系统评估？
• RQ5 当前基准测试在覆盖大数据处理全栈（包括数据摄取、转换与复杂分析）方面存在哪些关键局限？

主要发现

• 与现有基准测试相比，BigOP 通过纳入迭代处理、非结构化数据转换以及多样化操作组合，实现了更全面的大数据工作负载覆盖。
• 该框架成功建模了真实世界工作负载，如快速存储（类似 YCSB）、日志监控（流式分析）和 PageRank（图计算），展示了其在不同领域中的适用性。
• 现有基准测试如 YCSB 和 TPC-DS 缺乏对迭代处理与非结构化数据的支持，而 BigBench 则省略了迭代模式，限制了其对现代大数据系统的代表性。
• 基于处方的设计实现了系统间的一致性与可重复基准测试，使在相同操作与数据条件下直接比较性能成为可能。
• 通过使用合成数据生成并施加内存压力（数据大小 > 总 SUT 内存），BigOP 确保了测试中大数据体量特性的保持。
• 该框架的可扩展性支持未来纳入新操作与模式，推动基准测试标准的渐进式演进。