[논문 리뷰] Benchmarking Big Data Systems: State-of-the-Art and Future Directions

Rui Han, Zhen Jia외 3명|arXiv (Cornell University)|2015. 06. 04.

Cloud Computing and Resource Management참고 문헌 17인용 수 7

한 줄 요약

이 논문은 대용량 데이터 벤치마킹에 대한 종합적인 설문 조사로, 4V 특성(용량, 속도, 다양성, 신뢰성)을 유지하면서 다양한 소프트웨어 스택과 시스템 구현을 지원하는 현실적인 워크로드를 생성하는 데 있어 핵심 과제를 규명한다. 이는 향후 벤치마킹을 위한 프레임워크를 제안하며, 실세계 워크로드를 대표하고 포괄적이며 확장 가능한 설계를 목표로 하며, 변화하는 시스템 복잡성과 이질적인 하드웨어 플랫폼을 고려한다.

ABSTRACT

The great prosperity of big data systems such as Hadoop in recent years makes the benchmarking of these systems become crucial for both research and industry communities. The complexity, diversity, and rapid evolution of big data systems gives rise to various new challenges about how we design generators to produce data with the 4V properties (i.e. volume, velocity, variety and veracity), as well as implement application-specific but still comprehensive workloads. However, most of the existing big data benchmarks can be described as attempts to solve specific problems in benchmarking systems. This article investigates the state-of-the-art in benchmarking big data systems along with the future challenges to be addressed to realize a successful and efficient benchmark.

연구 동기 및 목표

• 현대 대용량 데이터 시스템의 복잡성, 다양성, 급속한 진화로 인해 벤치마킹에서 발생하는 주요 과제를 규명하기 위해.
• 현재의 벤치마킹 기법을 분석하고, 4V 특성을 지닌 현실적이고 애플리케이션 중심의 워크로드를 지원하는 데에 미치지 못하는 격차를 밝히기 위해.
• 포괄적이고 확장 가능하며 실세계 데이터 및 시스템 행동을 대표하는 차세대 벤치마킹 설계를 위한 기초를 마련하기 위해.
• 공정한 성능 및 에너지 효율성 평가를 위해 이질적인 하드웨어 플랫폼(예: Xeon+GPGPU, Xeon+MIC) 간 통일된 인터페이스가 필요한 이유를 해결하기 위해.
• 실제 워크로드 트레이스와 프로파일링 데이터를 통합하여 벤치마킹의 현실성과 확장성을 향상시키는 방법을 탐색하기 위해.

제안 방법

• 용량(데이터 크기), 속도(데이터 생성/처리 속도), 다양성(데이터 유형), 신뢰성(데이터 정확도)을 포함한 4V 특성에 기반해 대용량 데이터 시스템을 체계적으로 분류하기 위해.
• 실제 애플리케이션 트레이스와 프로파일링 데이터를 사용하여 현실적인 데이터 생성 및 워크로드 구현을 강조하는 벤치마킹 방법론을 제안하기 위해.
• 다양한 소프트웨어 스택(예: Hadoop, Spark)을 지원하고 애플리케이션 의미론과 자원 요구량을 반영하는 워크로드 생성 프레임워크를 도입하기 위해.
• 실제 워크로드 트레이스를 사용하여 현실적인 도착 패턴과 시스템 행동을 모델링하는 것이 중요하다는 점을 부각하기 위해.
• 메모리 기반 시스템(예: Spark)의 벤치마킹 과제를 해결하기 위해, JVM 기반 메모리 관리 복잡성과 압축 및 직렬화로 인한 CPU-메모리 트레이드오프를 고려하기 위해.
• 시스템과 소프트웨어 스택 간 공정한 비교를 가능하게 하기 위해, 이질적인 하드웨어 플랫폼을 지원하는 통일된 인터페이스로 벤치마킹을 확장할 것을 주장하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 하면 대용량 데이터 벤치마킹에서 4V 특성(용량, 속도, 다양성, 신뢰성)을 유지할 수 있는 데이터 생성기를 설계할 수 있는가?
• RQ2 다양한 시스템 아키텍처와 소프트웨어 스택을 통해 포괄적이고 현실적으로 대표되는 애플리케이션 중심 워크로드를 어떻게 실행할 수 있는가?
• RQ3 실세계 워크로드 트레이스와 프로파일링 데이터를 효과적으로 활용하여 현실적이고 확장 가능한 벤치마킹 워크로드를 생성할 수 있는가?
• RQ4 스파크와 같은 인메모리 컴퓨팅 시스템의 벤치마킹에서 발생하는 과제는 무엇인가? 특히 메모리 사용과 CPU 활용도 측면에서.
• RQ5 Xeon+GPGPU, Xeon+MIC와 같은 이질적인 하드웨어 플랫폼을 지원하도록 대용량 데이터 벤치마킹을 어떻게 확장할 수 있는가? 이는 성능 및 에너지 효율성 평가의 공정성을 확보하기 위함이다.

주요 결과

• 기존의 대용량 데이터 벤치마킹은 특정 문제 해결에 집중하며, 4V 특성이나 다양한 소프트웨어 스택 및 시스템 구현을 포괄적으로 다루지 못한다.
• 다양한 스케일에서 실세계 워크로드 혼합 비율과 자원 요구량을 유지하는 워크로드 생성을 지원하는 벤치마킹이 부족하다.
• 실제 애플리케이션 로그의 프로파일링은 현실적인 워크로드 도착 패턴을 캡처하는 데 유망한 접근법이지만, 이를 벤치마킹 생성에 통합하는 것은 여전히 열린 과제이다.
• 스파크와 같은 인메모리 시스템은 JVM 기반 메모리 관리 복잡성과 압축 및 직렬화로 인한 CPU-메모리 트레이드오프로 인해 고유한 벤치마킹 과제를 야기한다.
• 이질적인 하드웨어 플랫폼은 데이터 처리 효율성을 향상시킬 잠재력을 지니지만, 현재의 벤치마킹은 이러한 플랫폼 간에 균일하게 워크로드 평가를 수행할 수 있는 능력이 부족하다.
• 기존의 어떤 벤치마킹도 현실적인 워크로드 생성과 플랫폼 간, 소프트웨어 스택 간 평가를 동시에 완전히 지원하지 못하므로, 분야 내에서 중요한 격차가 존재한다.