[논문 리뷰] Characterizing Data Analysis Workloads in Data Centers

Zhen Jia, Lei Wang외 3명|arXiv (Cornell University)|2013. 07. 30.

Cloud Computing and Resource Management참고 문헌 16인용 수 12

한 줄 요약

이 논문은 현대의 슈퍼스칼라 순서 외 처리기에서 하드웨어 성능 카운터를 사용하여 주요 인터넷 도메인—검색, 소셜 네트워크, 전자상거래—으로부터 11개의 대표적 데이터 분석 워크로드를 특성화한다. 이 워크로드들은 서비스 워크로드보다 높은 IPC를 보이며, 순서 외 파이프라인에서 57%의 스탠스 패턴을 보이는 등 고유한 마이크로아키텍처적 특성을 나타내며, 데스크톱, HPC, 서비스 워크로드와는 크게 다름을 드러내며, 데이터센터 연구를 위한 오픈소스 DCBench 벤치마크 세트를 공개한다.

ABSTRACT

As the amount of data explodes rapidly, more and more corporations are using data centers to make effective decisions and gain a competitive edge. Data analysis applications play a significant role in data centers, and hence it has became increasingly important to understand their behaviors in order to further improve the performance of data center computer systems. In this paper, after investigating three most important application domains in terms of page views and daily visitors, we choose eleven representative data analysis workloads and characterize their micro-architectural characteristics by using hardware performance counters, in order to understand the impacts and implications of data analysis workloads on the systems equipped with modern superscalar out-of-order processors. Our study on the workloads reveals that data analysis applications share many inherent characteristics, which place them in a different class from desktop (SPEC CPU2006), HPC (HPCC), and service workloads, including traditional server workloads (SPECweb2005) and scale-out service workloads (four among six benchmarks in CloudSuite), and accordingly we give several recommendations for architecture and system optimizations. On the basis of our workload characterization work, we released a benchmark suite named DCBench for typical datacenter workloads, including data analysis and service workloads, with an open-source license on our project home page on http://prof.ict.ac.cn/DCBench. We hope that DCBench is helpful for performing architecture and small-to-medium scale system researches for datacenter computing.

연구 동기 및 목표

• 현대 데이터센터 내 데이터 분석 워크로드의 성능 특성을 이해하여, 시스템 및 아키텍처 최적화에 기여한다.
• 기존의 SPEC CPU2006, HPCC, SPECweb2005, CloudSuite 벤치마크와 같은 전통적 워크로드와의 차이를 규명한다.
• CloudSuite의 서비스 워크로드 중심성과 작은 입력 크기 등의 기존 벤치마크의 한계를 보완하기 위해, 더 큰 실질적인 데이터셋과 전체 실행 런을 선택한다.
• 데이터센터 컴퓨팅을 위한 아키텍처 및 시스템 연구를 지원하기 위해 새로운 오픈소스 벤치마크 세트인 DCBench를 개발하고 공개한다.
• 지침 캐시 비효율성, 분기 잘못 예측, 파이프라인 스탠스와 같은 마이크로아키텍처적 행동에 대한 통찰을 제공하여 타겟 최적화를 가능하게 한다.

제안 방법

• 페이지 뷰와 일일 방문자 수를 기준으로 검색, 소셜 네트워크, 전자상거래 도메인에서 11개의 대표적 데이터 분석 워크로드를 선정한다.
• 워밍업 이후 전체 실행 런 동안 하드웨어 성능 카운터를 사용해 마이크로아키텍처 메트릭스(예: IPC, 스탠스 분해, 캐시 미스, 분기 잘못 예측)를 수집한다.
• 이전의 벤치마크들이 메모리 내 소형 데이터셋을 사용하는 것과 달리, 메모리와 디스크에 분산된 대용량 입력 데이터셋(147–187 GB)을 구현한다.
• 표준 벤치마크(SPEC CPU2006(데스크톱), HPCC(HPC), SPECweb2005(기존 서버), CloudSuite(확장형 서비스))와의 비교를 수행한다.
• 스탠스 분해를 분석하여 순서 외 실행 이전의 프론트엔드 스탠스와 순서 외 파이프라인 스탠스를 구분한다.
• 재현 가능성을 위해 여러 프로그래밍 모델(MapReduce, MPI 등)과 가상 머신 이미지를 지원하는 오픈소스 벤치마크 세트인 DCBench를 공개한다.

실험 결과

연구 질문

• RQ1 데이터 분석 워크로드는 전통적인 데스크톱, HPC, 서비스 워크로드와 비교해 마이크로아키텍처적 특성에서 어떻게 다를까?
• RQ2 데이터 분석 워크로드의 주요 성능 저하 요인은 무엇인가? 특히 파이프라인 스탠스와 메모리 계층에서의 영향은?
• RQ3 고수준 프로그래밍 언어와 제3자 라이브러리가 데이터센터 워크로드의 지시어 캐시 및 TLB 효율성에 어떤 영향을 미치는가?
• RQ4 왜 데이터 분석 워크로드는 서비스 워크로드 및 CPU 워크로드보다 낮은 분기 잘못 예측 비율을 보이는가?
• RQ5 단일 벤치마크로 데이터 분석 워크로드의 다양성을 대변할 수 있는가, 아니면 정확한 시스템 평가를 위해 다양한 벤치마크 세트가 필요한가?

주요 결과

• 데이터 분석 워크로드는 서비스 워크로드(IPC ~1.0–1.3)보다 높은 IPC(약 1.5–2.0)를 기록하지만, HPC-HPL 및 HPC-DGEMM와 같은 HPC 워크로드보다는 낮다.
• 데이터 분석 워크로드에서 평균적으로 파이프라인 스탠스의 57%가 순서 외 실행 단계에서 발생하는 반면, 서비스 워크로드는 73%를 차지하여, 다른 버퍼링 프ofile을 나타낸다.
• 고수준 언어와 제3자 라이브러리의 사용은 L1 지시어 캐시 및 지시어 TLB 효율성을 심각하게 악화시켜 성능 저하 요인으로 작용한다.
• 알고리즘에서 단순하고 규칙적인 분기 패턴을 가지기 때문에, 데이터 분석 워크로드는 서비스 워크로드 및 SPEC CPU 워크로드보다 낮은 분기 잘못 예측 비율을 보인다.
• 오픈소스 라이선스로 공개된 DCBench 벤치마크 세트는 다양한 데이터 분석 및 서비스 워크로드를 포함하며, 여러 프로그래밍 모델과 가상 머신 이미지를 지원한다.
• 본 연구는 CloudSuite의 네 가지 확장형 서비스 워크로드가 SPECweb2005와 유사한 마이크로아키텍처적 특성을 공유함을 확인하여, 이들을 공통의 서비스 워크로드 카테고리로 묶을 수 있음을 시사한다.