[논문 리뷰] Stubby: A Transformation-based Optimizer for MapReduce Workflows

Harold Lim, Herodotos Herodotou외 1명|arXiv (Cornell University)|2012. 08. 01.

Cloud Computing and Resource Management참고 문헌 6인용 수 7

한 줄 요약

Stubby는 맵리듀스 워크플로우를 위한 전환 기반, 비용 기반 최적화 도구로, 계획 간 전환을 통해 포괄적인 계획 공간을 체계적으로 탐색하여 고도로 최적화된 워크로드를 생성한다. 가용 메타데이터를 기반으로 수직 및 수평 패킹, 구성 튜닝, 인터페이스에 종속되지 않는 최적화를 가능하게 하여 다양한 워크플로우 생성 도구와 데이터 환경에서 효과적으로 작동하며, 성능을 최대 4.5배 향상시킨다.

ABSTRACT

There is a growing trend of performing analysis on large datasets using workflows composed of MapReduce jobs connected through producer-consumer relationships based on data. This trend has spurred the development of a number of interfaces--ranging from program-based to query-based interfaces--for generating MapReduce workflows. Studies have shown that the gap in performance can be quite large between optimized and unoptimized workflows. However, automatic cost-based optimization of MapReduce workflows remains a challenge due to the multitude of interfaces, large size of the execution plan space, and the frequent unavailability of all types of information needed for optimization. We introduce a comprehensive plan space for MapReduce workflows generated by popular workflow generators. We then propose Stubby, a cost-based optimizer that searches selectively through the subspace of the full plan space that can be enumerated correctly and costed based on the information available in any given setting. Stubby enumerates the plan space based on plan-to-plan transformations and an efficient search algorithm. Stubby is designed to be extensible to new interfaces and new types of optimizations, which is a desirable feature given how rapidly MapReduce systems are evolving. Stubby's efficiency and effectiveness have been evaluated using representative workflows from many domains.

연구 동기 및 목표

• 광범위한 계획 공간, 다양한 인터페이스, 그리고 불완전한 메타데이터 가용성으로 인해 맵리듀스 워크플로우의 자동 비용 기반 최적화에 도전하는 문제를 해결하기 위해.
• 프로그래밍 인터페이스, 피그, 하이브, 쿼리 언어 등 다양한 워크플로우 생성 인터페이스를 통해 작동하는 일반 목적의 최적화 도구를 설계하기 위해.
• 핵심 메타데이터(예: 스키마, 필터 조건, 파artitioning)가 누락된 경우에도 동적으로 계획 공간을 유효한 전환으로 제한함으로써 효과적인 최적화를 가능하게 하기 위해.
• 신규 최적화 유형과 인터페이스에 대한 확장성을 지원하여 맵리듀스 시스템의 빠른 진화에 대응하기 위해.
• 포괄적인 계획 공간에서 전환 기반 검색이 기본 워크플로우 대비 상당한 성능 향상을 이끌 수 있음을 입증하기 위해.

제안 방법

• Stubby는 수직 패킹(생산자-소비자 작업 간 맵 및 리듀스 기능 통합), 수평 패킹(동일한 데이터 세트의 I/O 공유), 구성 튜닝(파artitioning, 압축, 병렬성) 등의 전환을 모델링하여 맵리듀스 워크플로우의 포괄적인 계획 공간을 구성한다.
• 기존 계획에 원자적 전환을 적용하여 새로운 계획을 생성하는 전환 기반 검색 전략을 사용하여 계획 공간을 체계적으로 탐색한다.
• 가용 메타데이터(예: 필터 조건, 스키마 주석, 데이터 세트 통계)를 사용하여 실행 비용을 추정하는 비용 기반 평가 모델을 적용하며, 정보가 누락된 경우 잘못된 전환를 방지한다.
• 메타데이터가 누락된 경우(예: 스키마 주석이 없을 경우 수직 패킹 불가) 전환을 제외함으로써 동적으로 계획 공간을 잘라내어 정확성과 효율성을 확보한다.
• 높은 영향도를 가진 전환을 우선순위로 정렬하고 완전한 열거를 피하는 효율적인 검색 알고리즘을 통합하여 근사 최적 해에 집중한다.
• 시스템은 중간 계층으로 설계되어 기반 맵리듀스 엔진과 외부 워크플로우 생성기와 독립적으로 작동하므로 광범위한 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 부분적인 정보 하에서 대규모 다차원 계획 공간을 효율적이고 정확하게 탐색할 수 있는 비용 기반 최적화 도구는 맵리듀스 워크플로우에 효과적으로 적용될 수 있는가?
• RQ2 프로그래밍 인터페이스, 피그, 하이브 등 다양한 워크플로우 생성 인터페이스를 통해 확장 가능한 전환 기반 최적화 도구는 인터페이스 전용 로직 없이 설계될 수 있는가?
• RQ3 수직 및 수평 패킹 전환은 실제 맵리듀스 워크플로우에서 I/O와 실행 시간을 얼마나 줄일 수 있는가?
• RQ4 핵심 메타데이터(예: 스키마, 필터)가 누락되거나 부분적으로만 가용할 경우 최적화 도구의 성능은 어떻게 변하는가?
• RQ5 일반 목적의 최적화 도구는 다양한 실제 데이터 분석 워크로드에서 상당한 성능 향상을 달성할 수 있는가?

주요 결과

• Stubby는 다양한 도메인의 대표 워크로드를 사용한 종합 실험에서 기준 워크플로우 대비 최대 4.5배의 성능 향상을 달성했다.
• 메타데이터가 누락된 경우 잘못된 전환를 제외함으로써 계획 공간을 효과적으로 잘라내어 정확성을 유지하면서도 성능을 손상시키지 않았다.
• 수직 패킹—다른 작업 간 맵 및 리듀스 기능 통합—이 성능 향상의 주요 기여 요소였으며, 특히 고도의 셔플링 오버헤드가 발생하는 워크플로우에서 두드러진 효과를 보였다.
• 수평 패킹은 동일한 입력을 처리하는 여러 작업이 존재하는 워크플로우에서 대규모 데이터 세트의 중복 I/O를 줄였다.
• 피그, 하이브, 프로그래밍 인터페이스 등 다양한 인터페이스에서 뛰어난 확장성과 적응성을 보였으며, 재구성 없이도 작동했다.
• 메타데이터가 완전하지 않은 상황에서도 비용 기반 전환 엔진이 근사 최적의 계획을 성공적으로 식별하여, 룰 기반 및 계획 공간 제한된 접근 방식보다 뛰어난 성능을 보였다.