[논문 리뷰] Performance Evaluation of Virtualized Hadoop Clusters

Todor Ivanov, Roberto V. Zicari외 2명|arXiv (Cornell University)|2014. 11. 14.

Cloud Computing and Resource Management참고 문헌 14인용 수 8

한 줄 요약

이 논문은 가상화를 통해 단일 물리 호스트에 배포된 Hadoop 클러스터의 성능을 평가하며, 계산 및 스토리지 계층을 분리한 환경을 고려한다. 가상화는 특히 입/출력 기반 워크로드에서 심각한 오버헤드를 유발하며, 이는 하이퍼바이저의 자원 경쟁 때문이며, CPU 기반 작업은 가상화 환경에서 성능 격리와 효율성이 더 우수한 것으로 나타났다.

ABSTRACT

In this report we investigate the performance of Hadoop clusters, deployed with separated storage and compute layers, on top of a hypervisor managing a single physical host. We have analyzed and evaluated the different Hadoop cluster configurations by running CPU bound and I/O bound workloads. The report is structured as follows: Section 2 provides a brief description of the technologies involved in our study. An overview of the experimental platform, setup test and configurations are presented in Section 3. Our benchmark methodology is defined in Section 4. The performed experiments together with the evaluation of the results are presented in Section 5. Finally, Section 6 concludes with lessons learned.

연구 동기 및 목표

• 단일 물리 호스트에 가상화를 사용하여 계산 및 스토리지 계층을 분리한 Hadoop 클러스터를 배포할 경우의 성능 영향을 평가하기 위해.
• 공유 호스트 환경에서 가상화가 CPU 기반 및 입/출력 기반 Hadoop 워크로드에 미치는 영향을 분석하기 위해.
• 하이퍼바이저의 자원 관리 및 가상 머신 오버헤드로 인해 발생하는 성능 저하 요인을 특정하기 위해.
• 자원 활용도 및 워크로드 격리 측면에서 Hadoop 배포에 대한 가상화의 효과성을 평가하기 위해.

제안 방법

• 계산 및 스토리지 계층을 위한 가상 머신을 관리하기 위해 하이퍼바이저를 사용하여 단일 물리 호스트에 Hadoop 클러스터를 구축하였다.
• 가상 머신에 할당된 자원 할당량을 다양하게 설정하여 여러 가상화된 Hadoop 클러스터 아키텍처를 구성하였다.
• 표준 Hadoop 벤치마크를 사용하여 CPU 기반 및 입/출력 기반 워크로드를 실행하여 가상화 환경에서의 성능을 측정하였다.
• 실행 시간, 자원 활용도, 입/출력 스루풋을 측정하여 성능 저하 및 격리 품질을 평가하였다.
• 재현 가능성을 확보하기 위해 동일한 하드웨어 및 가상화 스택을 사용한 통제된 실험 환경을 구축하였다.
• 다양한 구성에서 결과를 분석하여 가상화가 Hadoop 성능에 미치는 영향을 분리하여 분석하였다.

실험 결과

연구 질문

• RQ1 가상화는 단일 물리 호스트에서 CPU 기반 Hadoop 워크로드의 성능에 어떤 영향을 미치는가?
• RQ2 가상화된 Hadoop 클러스터의 입/출력 기반 워크로드 성능 오버헤드는 베어메탈 배포 대비 얼마나 되는가?
• RQ3 계산 및 스토리지 계층이 분리된 Hadoop 클러스터에서 하이퍼바이저가 자원 경쟁과 성능 저하를 얼마나 심각하게 유발하는가?
• RQ4 공유 호스트 환경에서 동시 실행되는 Hadoop 작업 간 성능 격리 제공에 있어 가상화의 효과는 어느 정도인가?
• RQ5 vCPU 할당, 메모리, 입/출력 스케줄링 등의 구성 매개변수 중 가상화된 Hadoop 성능에 가장 큰 영향을 미치는 것은 무엇인가?

주요 결과

• 입/출력 기반 워크로드의 경우 가상화로 인해 심각한 성능 저하가 발생했으며, 베어메탈 배포 대비 실행 시간이 최대 40% 증가하였다.
• CPU 기반 워크로드는 더 적은 오버헤드를 경험했으며, 성능 저하는 10%에서 20% 수준이었고, 이는 계산 집약적 작업에 대해 가상화가 더 효율적임을 시사한다.
• 하이퍼바이저 계층의 자원 경쟁이 입/출력 성능에 심각한 영향을 미쳤으며, 특히 다수의 가상 머신이 디스크 입/출력을 경쟁할 경우 두드러졌다.
• 가상화 환경에서 계산 및 스토리지 계층을 분리함으로써, 가상화된 네트워크 및 스토리지 스택의 한계로 인해 입/출력 병목 현상이 악화되었다.
• 성능 격리는 제한적이었으며, 동일한 호스트에서 동시 실행되는 워크로드는 특히 높은 입/출력 부하 상황에서 간섭을 보였다.
• 최적의 성능은 각 가상 머신에 전용 vCPU 할당과 충분한 메모리 확보 시 달성되었으며, 이는 경쟁을 줄이고 스루풋을 향상시켰다.