[논문 리뷰] Measuring the Optimality of Hadoop Optimization

Woocheol Kim, Changryong Baek외 1명|arXiv (Cornell University)|2013. 07. 10.

Cloud Computing and Resource Management참고 문헌 16인용 수 3

한 줄 요약

이 논문은 하드웨어 활용도와 처리 시간 오버헤드를 분석하여 Hadoop 작업이 이론적 성능 하한선에 얼마나 가까운지를 측정하는 새로운 측정법 $vet_{job}$을 제안한다. 기록 처리에 대한 통계적 프로파일링을 통해 이상적인 실행 시간을 추정함으로써 최적화 효과를 정밀하게 평가할 수 있으며, $vet_{job} = 1$은 완벽한 최적화를 의미한다. 이 방법은 다양한 클러스터 구성에서 높은 정확도를 보이며, 성능 향상 잠재력의 식별에 유용하다.

ABSTRACT

In recent years, much research has focused on how to optimize Hadoop jobs. Their approaches are diverse, ranging from improving HDFS and Hadoop job scheduler to optimizing parameters in Hadoop configurations. Despite their success in improving the performance of Hadoop jobs, however, very little is known about the limit of their optimization performance. That is, how optimal is a given Hadoop optimization? When a Hadoop optimization method X improves the performance of a job by Y %, how do we know if this improvement is as good as it can be? To answer this question, in this paper, we first examine the ideal best case, the lower bound, of running time for Hadoop jobs and develop a measure to accurately estimate how optimal a given Hadoop optimization is with respect to the lower bound. Then, we demonstrate how one may exploit the proposed measure to improve the optimization of Hadoop jobs.

연구 동기 및 목표

• Hadoop 최적화가 이론적 성능 한계에 얼마나 가까운지를 평가하기 위한 표준화된 측정법이 부족한 문제를 해결하기 위해.
• 하드웨어 활용도와 처리 오버헤드를 고려하여 Hadoop 작업 실행 시간의 하한선을 식별하고 추정하기 위해.
• 특정 최적화 도구에 종속되지 않고 이상적인 경우 대비 최적화 정도를 반영하는 실용적이고 정확한 측정법을 개발하기 위해.
• Starfish와 같은 기존 도구를 보완하여 최적화 잠재력에 대한 기준을 제공하기 위해.
• Hadoop 사용자가 현재 도구들로는 발견하지 못한 성능 향상 잠재력을 식별할 수 있도록 안내하기 위해.

제안 방법

• 정확도와 프로파일링 오버헤드의 균형을 위해 Hadoop 작업 내 개별 데이터 레코드의 처리 시간을 세밀하게 프로파일링한다.
• 통계적 방법을 적용하여 처리 시간의 이질적 값을 식별하고 제거함으로써 일반적인 성능에 집중한다.
• 일반적인 처리 시간 분포를 외삽하여 레코드당 이상적인 처리 시간을 추정한다.
• 하드웨어 및 시스템 수준 오버헤드를 별도로 고려하여 맵 및 리듀스 작업의 이상적인 실행 시간을 추정한다.
• 맵 및 리듀스 작업의 추정치를 통합하여, 작업의 이론적 하한선 대비 최적화 정도를 나타내는 통합 측정법인 $vet_{job}$을 구성한다.
• 다양한 클러스터 설정과 Hadoop 구성에서 실제 실험을 통해 측정법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 하드웨어 및 시스템 제약 조건을 고려할 때 Hadoop 작업의 이론적 실행 시간 하한선은 무엇인가?
• RQ2 최소한의 프로파일링 오버헤드로 높은 정확도를 유지하면서 Hadoop 작업의 이상적 성능을 어떻게 추정할 수 있는가?
• RQ3 기존 최적화 기법들이 이론적 성능 한계에 얼마나 가까운지를 평가할 수 있는 정도는 어느 정도인가?
• RQ4 기존 최적화 평가 방법과 비교해 볼 때 제안된 $vet_{job}$ 측정법은 정확도와 실용성 측면에서 어떻게 다른가?
• RQ5 제안된 측정법은 Starfish와 같은 기존 도구를 넘어선 추가 최적화를 효과적으로 이끌 수 있는가?

주요 결과

• 제안된 $vet_{job}$ 측정법은 Hadoop 작업의 최적화 정도를 정확하게 추정하며, $vet_{job} = 1$은 이론적 하한선에 대한 완벽한 최적화를 의미한다.
• Starfish와 같은 도구에 의해 강력하게 최적화된 이후에도 실제 Hadoop 작업은 여전히 향상 가능성이 크게 남아 있으며, 이는 $vet_{job}$ 값이 1보다 훨씬 낮다는 점에서 입증된다.
• 이 방법은 CPU 활용도와 컨텍스트 스위칭 오버헤드가 성능 추정에서 중요한데도 자주 간과되는 요소임을 정확히 식별한다.
• 통계적 프로파일링 접근법은 비정상적인 처리 시간을 효과적으로 걸러내어 일반적인 처리 시간 추정의 신뢰성을 확보한다.
• 다양한 클러스터 설정에서의 실험을 통해 $vet_{job}$이 최적화 효과에 대한 일관되고 정확한 기준을 제공하는 것으로 확인된다.
• Starfish와 같은 기존 도구를 보완하여, 최적화 성과 평가에 대해 독립적이고 객관적인 기준을 제공함으로써 기여한다.