[논문 리뷰] Hadoop Performance Models

Herodotos Herodotou|arXiv (Cornell University)|2011. 06. 06.

Cloud Computing and Resource Management인용 수 112

한 줄 요약

이 논문은 Hadoop MapReduce 작업에 대한 종합적인 수학적 성능 모델을 제시하며, 실행을 세분화된 단계(예: 읽기, 매핑, 스플릿, 셔플, 감소, 왁기)로 분해한다. 구성 가능한 매개변수, Hadoop 설정, 프로파일 통계를 사용하여 I/O, CPU, 네트워크 비용을 정확하게 추정할 수 있으며, 이를 통해 성능 향상을 위한 작업 설정 최적화가 가능하다.

ABSTRACT

Hadoop MapReduce is now a popular choice for performing large-scale data analytics. This technical report describes a detailed set of mathematical performance models for describing the execution of a MapReduce job on Hadoop. The models describe dataflow and cost information at the fine granularity of phases within the map and reduce tasks of a job execution. The models can be used to estimate the performance of MapReduce jobs as well as to find the optimal configuration settings to use when running the jobs.

연구 동기 및 목표

• 작업 성능 예측 및 설정 최적화를 지원하기 위해 Hadoop MapReduce 작업에 대한 정확한 단계 수준의 성능 모델을 개발하기.
• 핵심 Hadoop 설정 매개변수들이 작업 실행 비용에 미치는 영향을 식별하고 정량화하기.
• 맵 및 리듀스 단계 동안 I/O, CPU, 네트워크 오버헤드를 포함한 종단 간 비용을 모델링하기.
• 전체 실행 없이도 분석적으로 작업 성능을 추정할 수 있도록 하여 효율적인 작업 설정 추천을 지원하기.
• 수학적 모델링을 활용한 비용 인식 설정 선택을 통한 MapReduce 작업 성능 최적화 프레임워크 제공하기.

제안 방법

• 모델은 맵 단계를 다섯 단계로 분해한다: 읽기, 매핑, 수집, 스플릿, 병합이며, 리듀스 단계를 네 단계로 분해한다: 셔플, 병합, 리듀스, 왁기.
• 각 단계는 Hadoop 설정 설정(예: io.sort.mb, mapred.reduce.tasks), 프로파일 통계(예: 입력 페어 폭, 함수 선택도), 비용 요소(예: 바이트당 I/O, CPU, 네트워크) 등의 입력 매개변수에 기반한 비용 함수를 할당한다.
• 비용 함수는 시간 기반 지표를 사용한다: I/O 및 네트워크 비용은 바이트당, CPU 비용은 키-밸류 페어당 또는 압축/해제 압축에 대한 바이트당이다.
• 구성 플래그에 따라 구성 요소(예: 병합 함수, 압축)를 조건부로 활성화하기 위해 항등 함수 I(x)를 사용한다.
• 전체 작업 비용은 모든 맵 및 리듀스 작업의 비용을 합산하여 분석적으로 계산되며, 노드 및 작업 제한(pMaxMapsPerNode, pMaxRedPerNode)에 따라 스케일링된다.
• 네트워크 비용은 셔플 동안 전송된 총 데이터량을 고려하여 모델링되며, 비현지 데이터 이동을 반영한다: netTransferSize = finalOutMapSize × pNumMappers × (pNumNodes−1)/pNumNodes.

실험 결과

연구 질문

• RQ1 단계 수준의 수학적 모델을 사용하여 Hadoop MapReduce 작업의 성능을 어떻게 정확하게 예측할 수 있는가?
• RQ2 맵 및 리듀스 작업의 다양한 단계에서 I/O, CPU, 네트워크 비용이 각각 어떤 기여를 하는가?
• RQ3 Hadoop 설정 매개변수(예: 버퍼 크기, 스플릿 임계값, 압축 설정)가 총 작업 비용에 어떻게 영향을 미치는가?
• RQ4 분석적 비용 모델이 성능 예측 및 설정 최적화를 위해 전체 작업 실행을 얼마나 대체할 수 있는가?
• RQ5 데이터 특성(예: 입력 크기, 압축 비율, 매핑/리듀스 함수의 선택도)이 성능 모델 결과에 어떻게 영향을 미치는가?

주요 결과

• 모델은 Hadoop 매개변수, 프로파일 통계, 시스템 비용 요소의 조합을 사용하여 단계 수준의 I/O, CPU, 네트워지 비용을 집계함으로써 작업 비용을 정확하게 추정한다.
• 압축 및 병합 기능을 모델에 포함시키면 CPU 및 I/O 비용에 상당한 영향을 미치며, 압축은 I/O를 감소시키지만 CPU 오버헤드를 증가시킨다.
• 네트워크 비용은 셔플 동안 전송된 총 데이터량에 비례하며, 이는 마포어의 수와 비현지 데이터 비율에 따라 달라진다. 이를 netTransferSize = finalOutMapSize × pNumMappers × (pNumNodes−1)/pNumNodes로 모델링한다.
• 분석적 비용 모델(식 98)은 IOCost_Job, CPUCost_Job, NETCost_Job의 합으로 총 작업 비용을 계산하는 스케일러블한 방법을 제공하여 설정 최적화를 가능하게 한다.
• io.sort.mb, mapred.reduce.tasks, 압축 설정과 같은 매개변수의 영향을 분리하여 성능에 미치는 영향을 파악함으로써 설정 최적화를 지원한다.
• 모델의 모듈식 구조는 항등 함수 I(x)를 통해 구성 요소(예: 병합, 압축)의 조건부 활성화를 가능하게 하여 영향력 있고 정확한 비용 계산을 지원한다.