[논문 리뷰] OLA-RAW: Scalable Exploration over Raw Data

Yu Cheng, Weijie Zhao외 1명|arXiv (Cornell University)|2017. 02. 01.

Advanced Database Systems and Queries참고 문헌 36인용 수 3

한 줄 요약

OLA-RAW는 원시 데이터 위에서 병렬 온라인 집계를 위한 질의 기반 이중 샘플링 기반 기법을 도입하여, 데이터 재조직 없이도 빠르고 정확한 추정을 가능하게 한다. 질의 실행 중 메모리 기반 샘플 개요를 점진적으로 구축함으로써 I/O 및 CPU 비용을 감소시키며, 외부 테이블 및 청크 수준의 샘플링 대비 최대 10배 성능 향상을 달성하면서도, 관심 없는 질의에 대해서는 정확한 조기 종료를 보장한다.

ABSTRACT

In-situ processing has been proposed as a novel data exploration solution in many domains generating massive amounts of raw data, e.g., astronomy, since it provides immediate SQL querying over raw files. The performance of in-situ processing across a query workload is, however, limited by the speed of full scan, tokenizing, and parsing of the entire data. Online aggregation (OLA) has been introduced as an efficient method for data exploration that identifies uninteresting patterns faster by continuously estimating the result of a computation during the actual processing---the computation can be stopped as early as the estimate is accurate enough to be deemed uninteresting. However, existing OLA solutions have a high upfront cost of randomly shuffling and/or sampling the data. In this paper, we present OLA-RAW, a bi-level sampling scheme for parallel online aggregation over raw data. Sampling in OLA-RAW is query-driven and performed exclusively in-situ during the runtime query execution, without data reorganization. This is realized by a novel resource-aware bi-level sampling algorithm that processes data in random chunks concurrently and determines adaptively the number of sampled tuples inside a chunk. In order to avoid the cost of repetitive conversion from raw data, OLA-RAW builds and maintains a memory-resident bi-level sample synopsis incrementally. We implement OLA-RAW inside a modern in-situ data processing system and evaluate its performance across several real and synthetic datasets and file formats. Our results show that OLA-RAW chooses the sampling plan that minimizes the execution time and guarantees the required accuracy for each query in a given workload. The end result is a focused data exploration process that avoids unnecessary work and discards uninteresting data.

연구 동기 및 목표

• 기존의 인-사이트 데이터 처리 방식이 전체 스캔이 필요하고, 관심 없는 질의일지라도 높은 I/O 및 CPU 비용을 유발하는 데서 기인하는 비효율성을 해결하기 위해.
• 기존 온라인 집계(OA) 시스템이 질의 실행 이전에 데이터 재배치 또는 샘플링을 수행함으로써 높은 초기 비용을 유발하는 한계를 극복하기 위해.
• 데이터 재조직 없이도 런타임 중 정확하고 신뢰구간을 갖춘 집합 추정치를 제공함으로써, 관심 없는 질의에 대한 조기 종료를 가능하게 하기 위해.
• 원시 데이터 파일에서 직접 이중 샘플 개요를 점진적으로 유지하는 확장 가능하고 병렬적인 온라인 집계 프레임워크를 설계하기 위해.
• 작업 워크로드 내 각 질의에 대해 요구되는 정확도를 보장하면서 실행 시간을 최소화하고, 잠재적으로 관심 있는 데이터에 집중된 탐색을 중심으로 하기 위해.

제안 방법

• OLA-RAW는 질의 실행 중 병렬적으로 랜덤 청크 단위로 데이터를 처리하는 새로운 자원 인지 이중 샘플링 알고리즘을 활용한다.
• 자원 가용성과 질의 요구사항에 따라 각 청크 내 샘플링된 튜플 수를 적응적으로 결정한다.
• 원시 데이터 형식으로부터 반복적인 변환을 방지하기 위해 메모리 기반 이중 샘플 개요를 점진적으로 구축하고 유지한다.
• 샘플링은 질의 실행 중에만 인-사이트로 수행되며, 데이터 재조직 또는 사전 처리가 필요 없도록 한다.
• 검사 역설(inspection paradox)을 피하고 집합 추정의 정확한 신뢰구간을 지원하기 위해 이중 수준의 베르누이 샘플링 전략을 사용한다.
• OLA-RAW는 현대적인 인-사이트 데이터 처리 시스템과 통합되어 FITS 및 기타 평편 파일 형식과 같은 원시 파일에서 직접 SQL 질의를 지원한다.

실험 결과

연구 질문

• RQ1 데이터 재조직이나 사전 샘플링 없이도 원시 데이터 위에서 온라인 집계를 확장 가능하고 효율적으로 수행할 수 있는가?
• RQ2 이중 샘플링은 어떻게 인-사이트 질의 실행에 적응시켜 I/O 및 CPU 오버헤드를 최소화할 수 있는가?
• RQ3 실행 중에 메모리 기반 이중 샘플 개요를 점진적으로 유지함으로써 원시 데이터의 반복적 파싱 비용을 피할 수 있는가?
• RQ4 기존 외부 테이블 및 청크 수준의 샘플링 대비 질의 기반 인-사이트 이중 샘플링의 성능 향상은 어느 정도인가?
• RQ5 OLA-RAW는 요구되는 정확도를 유지하면서 관심 없는 질의의 조기 종료를 어느 정도까지 가능하게 할 수 있는가?

주요 결과

• OLA-RAW는 실제 및 합성 데이터셋을 대상으로 외부 테이블 및 청크 수준의 샘플링 대비 실행 시간을 최대 10배 감소시킨다.
• 정확한 집합 추정치와 함께 신뢰구간을 제공함으로써, 결과가 관심 없을 경우 정확한 조기 종료가 가능하다.
• 메모리 기반 이중 샘플 개요를 점진적으로 유지함으로써 원시 형식으로부터 반복적인 데이터 변환 비용을 피할 수 있다.
• 질의 기반 샘플링 전략은 집중적인 데이터 탐색을 가능하게 하며, 관심 없는 데이터를 조기에 폐기하고 불필요한 계산을 줄인다.
• 비용이 많이 드는 초기 단계의 데이터 재배치나 샘플링을 제거함으로써 기존 OLA 솔루션보다 뛰어난 성능을 보이며, 대규모 원시 데이터 탐색에 적합하다.
• 이 방법은 FITS를 포함한 다양한 파일 형식에서 효과적이며, 병렬 질의 실행 환경에서 잘 스케일링된다.