[논문 리뷰] BigOP: Generating Comprehensive Big Data Workloads as a Benchmarking Framework

Yuqing Zhu, Jianfeng Zhan외 5명|arXiv (Cornell University)|2014. 01. 26.

Cloud Computing and Resource Management참고 문헌 13인용 수 5

한 줄 요약

BigOP는 관계대수와 실제 워크로드에서 기본 처리 연산과 워크로드 패턴을 추상화하여 대규모 데이터 시스템을 위한 종합적인 벤치마킹 프레임워크를 제안한다. 이 프레임워크는 운영자, 패턴, 데이터 세트, 메트릭스를 조합한 사용자 정의 가능한 규정을 통해 융통성 있고 대표성 있는 테스트를 가능하게 하며, 기존 벤치마크보다 더 넓은 데이터 유형과 처리 워크로드 커버리지, 확장성과 유연성을 제공한다.

ABSTRACT

Big Data is considered proprietary asset of companies, organizations, and even nations. Turning big data into real treasure requires the support of big data systems. A variety of commercial and open source products have been unleashed for big data storage and processing. While big data users are facing the choice of which system best suits their needs, big data system developers are facing the question of how to evaluate their systems with regard to general big data processing needs. System benchmarking is the classic way of meeting the above demands. However, existent big data benchmarks either fail to represent the variety of big data processing requirements, or target only one specific platform, e.g. Hadoop. In this paper, with our industrial partners, we present BigOP, an end-to-end system benchmarking framework, featuring the abstraction of representative Operation sets, workload Patterns, and prescribed tests. BigOP is part of an open-source big data benchmarking project, BigDataBench. BigOP's abstraction model not only guides the development of BigDataBench, but also enables automatic generation of tests with comprehensive workloads. We illustrate the feasibility of BigOP by implementing an automatic test generation tool and benchmarking against three widely used big data processing systems, i.e. Hadoop, Spark and MySQL Cluster. Three tests targeting three different application scenarios are prescribed. The tests involve relational data, text data and graph data, as well as all operations and workload patterns. We report results following test specifications.

연구 동기 및 목표

• 기본 스토리지 및 분석을 초월해 대규모 데이터 처리 워크로드의 전반적인 스펙트럼을 다루는 종합적이고 확장 가능한 벤치마크의 부족을 보완한다.
• 응용 프로그램 특화 및 일반 목적의 벤치마킹을 모두 지원할 수 있도록 처리 연산과 워크로드 패턴을 통합된 추상화로 제공한다.
• 운영자, 패턴, 데이터 세트, 측정 가능한 메트릭스 기반의 표준화된 테스트 규정을 정의하여 시스템 간 비교를 가능하게 한다.
• YCSB, TPC-DS, BigBench와 같은 기존 벤치마크의 한계를 극복하기 위해 반복 처리 및 비정형 데이터 워크로드를 포함한다.
• 향후 운영자와 패턴의 확장이 가능한 점진적이고 확장 가능한 설계를 통해 변화하는 벤치마킹 요구사항을 지원한다.

제안 방법

• 관계대수에서 유도된 다섯 가지 기본 연산자—필터, 프로젝션, 크로스 프로덕트, 유니온, 차집합—을 핵심 처리 연산으로 추출하고, 데이터 세트 참여 방식(요소, 단일 세트, 이중 세트 연산)에 따라 분류한다.
• 비정형 데이터 처리에 기여하는 일반적인 대규모 데이터 연산들—put, get, delete, transform, order by, 집계—을 기본 연산에 확장하며, 이들의 역할을 강조한다.
• 운영자 조합 및 실행 의미 체계에 기반해 세 가지 워크로드 패턴—단일 연산, 다중 연산, 반복 처리—을 정의하며, 반복 패턴은 동적이고 조건 기반 실행을 지원한다.
• 선택된 운영자와 패턴, 데이터 세트(실제 또는 합성), 워크로드 생성 방법, 처리량 및 지연 시간과 같은 성능 메트릭스를 조합한 표준화된 테스트 사양인 '테스트 규정'을 도입한다.
• 세 가지 대표적인 테스트 규정을 구현한다: 빠른 스토리지(OLTP 유사), 로그 모니터링(스트리밍 분석), PageRank(반복 그래프 계산)로, 각각 실제 워크로드 사례를 반영한다.
• 데이터 생성 도구(BDGS 등)와 워크로드 주입 전략(예: 5000 ops/sec)을 활용해 대규모 데이터의 속도와 볼륨 특성을 시뮬레이션하며, 시험 중인 시스템(SUT)의 메모리 압박을 보장한다.

실험 결과

연구 질문

• RQ1 어떻게 벤치마킹 프레임워크가 정형 및 비정형 데이터를 모두 포함해 다양한 처리 패턴에서 대규모 데이터 처리 워크로드의 다양성을 종합적으로 표현할 수 있는가?
• RQ2 BigOP의 운영자 및 패턴 추상화가 YCSB, TPC-DS, BigBench와 같은 기존 벤치마크 대비 벤치마킹의 유연성과 커버리지 향상에 얼마나 기여하는가?
• RQ3 그래프 및 머신러닝 워크로드에서 흔한 반복 처리 패턴이 체계화된 프레임워크를 통해 효과적으로 모델링되고 벤치마킹될 수 있는가?
• RQ4 어떻게 테스트 규정을 설계하여 다양한 대규모 데이터 시스템에서 실재성과 재현 가능성을 확보하면서도 응용 프로그램 특화 및 일반 시스템 평가를 모두 지원할 수 있는가?
• RQ5 기존의 벤치마크가 데이터 수집, 변환, 복잡한 분석을 포함한 대규모 데이터 처리 스택 전반을 충분히 커버하지 못하는 주요 한계는 무엇인가?

주요 결과

• BigOP는 반복 처리, 비정형 데이터 변환, 다양한 운영자 조합을 포함함으로써 기존 벤치마크보다 더 광범위한 대규모 데이터 워크로드 커버리지 제공.
• 프레임워크는 빠른 스토리지(YCSB 유사), 로그 모니터링(스트리밍 분석), PageRank(그래프 계산)와 같은 실제 워크로드를 성공적으로 모델링하여 다양한 도메인에 적용 가능성을 입증.
• 기존 벤치마크인 YCSB와 TPC-DS는 반복 처리 및 비정형 데이터를 지원하지 않으며, BigBench는 반복 패턴을 생략하여 현대 대규모 데이터 시스템에 대한 대표성에 한계가 있음.
• 규정 기반 설계 덕분에 시스템 간 일관되고 반복 가능한 벤치마킹이 가능하며, 동일한 운영 조건과 데이터 조건 하에서 성능 비교가 직접적으로 가능.
• 메모리 압박(데이터 크기 > 전체 SUT 메모리)을 고려한 합성 데이터 생성을 통해 대규모 데이터의 볼륨 특성이 테스트 과정에서 유지됨.
• 프레임워크의 확장성 덕분에 향후 새로운 운영자와 패턴의 통합이 가능하며, 벤치마크 표준의 점진적 발전을 지원함.