[논문 리뷰] Exploiting Opportunistic Physical Design in Large-scale Data Analytics

Jeff LeFevre, Jagan Sankaranarayanan외 4명|arXiv (Cornell University)|2013. 03. 26.

Data Management and Algorithms참고 문헌 21인용 수 5

한 줄 요약

이 논문은 MapReduce 실행 과정에서 발생하는 부산물로 생성된 기회적 materialized view를 활용하여 UDF를 다량 포함하는 쿼리에서 대규모 데이터 분석을 가속화하는 새로운 쿼리 리라이팅 시스템을 제안한다. 의미론적 UDF 모델과 비용 기반, 메트릭 공간 기반의 리라이팅 알고리즘을 도입함으로써, 평균적으로 쿼리 실행 시간을 최대 60% 감소시키고 복잡한 워크로드에서는 최대 한 단계의 성능 향상을 달성한다.

ABSTRACT

Large-scale systems, such as MapReduce and Hadoop, perform aggressive materialization of intermediate job results in order to support fault tolerance. When jobs correspond to exploratory queries submitted by data analysts, these materializations yield a large set of materialized views that typically capture common computation among successive queries from the same analyst, or even across queries of different analysts who test similar hypotheses. We propose to treat these views as an opportunistic physical design and use them for the purpose of query optimization. We develop a novel query-rewrite algorithm that addresses the two main challenges in this context: how to search the large space of rewrites, and how to reason about views that contain UDFs (a common feature in large-scale data analytics). The algorithm, which provably finds the minimum-cost rewrite, is inspired by nearest-neighbor searches in non-metric spaces. We present an extensive experimental study on real-world datasets with a prototype data-analytics system based on Hive. The results demonstrate that our approach can result in dramatic performance improvements on complex data-analysis queries, reducing total execution time by an average of 61% and up to two orders of magnitude.

연구 동기 및 목표

• 탐색적 대규모 데이터 분석 환경에서 반복적으로 복잡하고 UDF 중심의 쿼리를 재실행하는 데 발생하는 비효율성을 해결하기 위해.
• 임의의 사용자 정의 함수(UFDs)를 포함하더라도 이전 쿼리의 중간 결과를 효과적으로 재사용할 수 있도록 하기 위해.
• materialized view를 활용하여 가능한 리라이팅의 광범위한 공간을 효율적으로 탐색할 수 있는 확장성 있고 효율적인 쿼리 리라이팅 메커니즘을 개발하기 위해.
• 비용 기반의 작업 효율적인 검색 전략을 제공하여 완전한 열거 없이도 최적의 리라이팅을 식별하기 위해.

제안 방법

• 임의의 코드를 포함할 수 있는 MapReduce UDF의 의미론적 행동을 포괄하는 그레이박스 UDF 모델을 제안하여, 전체 실행 없이도 그 출력에 대해 추론할 수 있도록 한다.
• UDF 모델과 쿼리/뷰 스키마 구조를 기반으로, 잠재적 쿼리-뷰 리라이팅에 대한 하한 비용 추정 기법을 도입한다.
• 메트릭 공간 내 근접 이웃 검색에 영감을 받은 BfRewrite 알고리즘을 활용하여, 비용이 낮은 뷰를 우선순위로 하여 리라이팅 공간을 점진적으로 탐색한다.
• 비용 기반 프루닝을 통해 유망하지 않은 리라이팅 탐색을 방지함으로써, 특정 가정 하에 작업 효율성과 최적 결과 탐색을 보장한다.
• 실제 데이터 세트와 복잡한 UDF 기반 쿼리에서 성능을 평가하기 위해 Hive 기반 프로토타입에 리라이팅 엔진을 통합한다.
• 기존 materialized view를 기회적 물리적 설계로 활용하여, 추가 저장소나 계산 오버헤드 없이도 기능을 제공한다.

실험 결과

연구 질문

• RQ1 MapReduce 실행 과정에서 생성된 materialized view를, 복잡하고 임의의 UDF를 포함하더라도 쿼리 리라이팅에 효과적으로 활용할 수 있는가?
• RQ2 전체 실행 없이도 UDF의 출력에 대한 의미론적 추론이 가능하게 하기 위해 UDF를 어떻게 모델링할 수 있는가? 이는 효율적인 리라이팅 비용 추정을 지원하기 위함이다.
• RQ3 UDF와 materialized view를 포함한 광범위한 가능한 리라이팅 공간을 효율적으로 탐색하면서도 최적성을 보장할 수 있는 알고리즘적 접근은 무엇인가?
• RQ4 실제로 UDF 중심의 대규모 데이터 분석 워크로드에서 이러한 시스템은 실행 시간을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 시스템은 복잡하고 UDF 중심의 쿼리가 포함된 실제 워크로드에서 평균적으로 쿼리 실행 시간을 61% 감소시킨다.
• 최적의 경우, 원래 쿼리 실행 대비 최대 10배의 성능 향상을 달성한다.
• 문자적으로 동일한 뷰가 존재하지 않더라도 시스템은 효과적으로 기능함을 보여주며, 뷰 다양성과 완벽하지 않은 뷰 유지 정책에 대한 강건성을 입증한다.
• materialized view의 총 크기가 기본 데이터에 비해 작기 때문에, 최소한의 저장소 오버헤드로도 상당한 성능 향상을 달성한다.
• BfRewrite 알고리즘은 비용 하한을 활용하여 검색 공간을 효율적으로 프루닝함으로써, 작업 효율적인 방식으로 최적의 리라이팅을 탐색할 수 있다.
• 이 방법은 문법적 매칭에만 의존하는 이전 기법들인 ReStore와 MRShare를 포함하여, 의미적으로 유사하지만 문법적으로 다른 UDF를 가진 뷰 간의 결과 재사용이 가능하다.