[논문 리뷰] BlinkDB: Queries with Bounded Errors and Bounded Response Times on Very Large Data

Sameer Agarwal, Aurojit Panda외 3명|arXiv (Cornell University)|2012. 03. 25.

Data Management and Algorithms참고 문헌 24인용 수 45

한 줄 요약

BlinkDB는 사전에 다차원적이고 다중 해상도의 표본을 계산하여 대규모 데이터셋에서 상호작용적이고 근사적인 SQL 쿼리를 가능하게 하는 분산형, 표본 기반 쿼리 엔진이다. 사용자가 지정한 오차 또는 응답 시간 범위를 충족시키기 위해 동적으로 최적의 표본을 선택함으로써 17TB의 데이터에서 2~10% 오차로 1초 이내의 응답 시간을 달성하며, 기존 시스템보다 100배 이상 빠르게 작동한다.

ABSTRACT

In this paper, we present BlinkDB, a massively parallel, sampling-based approximate query engine for running ad-hoc, interactive SQL queries on large volumes of data. The key insight that BlinkDB builds on is that one can often make reasonable decisions in the absence of perfect answers. For example, reliably detecting a malfunctioning server using a distributed collection of system logs does not require analyzing every request processed by the system. Based on this insight, BlinkDB allows one to trade-off query accuracy for response time, enabling interactive queries over massive data by running queries on data samples and presenting results annotated with meaningful error bars. To achieve this, BlinkDB uses two key ideas that differentiate it from previous work in this area: (1) an adaptive optimization framework that builds and maintains a set of multi-dimensional, multi-resolution samples from original data over time, and (2) a dynamic sample selection strategy that selects an appropriately sized sample based on a query's accuracy and/or response time requirements. We have built an open-source version of BlinkDB and validated its effectiveness using the well-known TPC-H benchmark as well as a real-world analytic workload derived from Conviva Inc. Our experiments on a 100 node cluster show that BlinkDB can answer a wide range of queries from a real-world query trace on up to 17 TBs of data in less than 2 seconds (over 100 imes faster than Hive), within an error of 2 - 10%.

연구 동기 및 목표

• 광고 타겟팅, 금융 거래, 서비스 모니터링과 같은 실시간 애플리케이션에서 테라바이트 규모의 데이터에 대한 저지연 분석의 증가하는 수요를 해결하기 위해.
• 시간 민감도가 높은 의사결정을 위해 전체 테이블 스캔이 너무 느린 상황에서, 전체 테이블 스캔 없이도 대규모 데이터셋에서 상호작용적이고 즉석형 SQL 쿼리를 가능하게 하기 위해.
• 지능적인 표본 선택을 통해 응답 시간을 최소화하면서도 통계적으로 의미 있는 오차 범위를 갖는 쿼리 결과를 제공하기 위해.
• 편향된 데이터 분포에서 균일 표본 추출의 한계를 극복하기 위해 드문 하위군을 더 잘 대표하는 분류 기반 및 다차원 표본을 사용하기 위해.
• 미래의 또는 알려지지 않은 쿼리에 대해 넓은 커버리지를 확보하기 위해 저장소 제약 조건과 쿼리 템플릿을 고려한 표본 생성 최적화 문제로 접근하기 위해.

제안 방법

• BlinkDB는 다양한 속성 조합에 대해 균일 및 분류 기반 표본을 포함한 다차원적이고 다중 해상도의 표본 세트를 사전에 계산하고 유지함으로써 다양한 쿼리 워크로드를 지원한다.
• 이 시스템은 이전 쿼리 템플릿과 저장소 예산 제약 조건을 기반으로 분류 기반 표본을 선택하는 적응형 최적화 프레임워크를 사용하여 표본 생성을 최적화 문제로 공식화한다.
• 쿼리 실행 시점에 BlinkDB는 작은 표본을 사용해 쿼리 선택도를 추정하고, 사용자가 지정한 오차 또는 응답 시간 기준에 맞는 가장 적절한 표본(균일 또는 분류 기반)을 선택한다.
• 통계적 표본 추출 이론을 활용하여 신뢰구간과 오차 막대를 계산함으로써 결과에 의미 있는 정확도 보장을 부여한다.
• BlinkDB는 Hive와 Shark(Hadoop/Spark)와 통합되어 표준 빅데이터 플랫폼에서 변경 없이 배포 가능하다.
• 이 시스템은 등가 조인 및 집계 쿼리를 모두 지원하며, 편향된 표본 추출을 통해 드문 하위군의 오차를 줄임으로써 복잡한 쿼리, 특히 드문 하위군을 포함한 쿼리도 처리할 수 있다.

실험 결과

연구 질문

• RQ1 표본 기반 쿼리 엔진이 테라바이트 규모의 데이터에서 오차가 제한된 상태로 상호작용적 응답 시간(1초 이내)을 제공할 수 있는가?
• RQ2 사용자가 지정한 정확도 및 성능 제약 조건을 충족시키기 위해 시스템이 동적으로 최적의 표본 크기와 유형(균일 대비 분류 기반)을 선택할 수 있는가?
• RQ3 편향된 데이터 분포에서 다차원적, 다중 해상도 표본 추출이 균일 표본 추출에 비해 쿼리 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 표본 생성을 과거 및 미래의 즉석 쿼리에 대한 커버리지와 저장소 비용을 균형 잡는 최적화 문제로 공식화할 수 있는가?
• RQ5 이러한 시스템은 표준 Hadoop/Spark 클러스터에서 효율적으로 배포되고 17TB의 데이터를 처리할 수 있는 100노드 클러스터에 스케일링될 수 있는가?

주요 결과

• BlinkDB는 TPC-H 및 실제 워크로드 전반에서 17TB의 데이터에서 2초 이내의 응답 시간을 달성하며, Hive에 비해 100배 이상 빠른 성능을 보였다.
• 시스템은 정확한 결과와 2~10% 이내의 정확도를 유지하며, 통계적으로 의미 있는 오차 범위와 사용자에 의해 주석 처리된 오차 정보를 제공한다.
• 분류 기반 표본 추출은 하위군 오차를 크게 감소시키고 드문 하위군의 수렴 속도를 향상시켜 낮은 빈도의 그룹에 대해서도 신뢰할 수 있는 결과를 제공한다.
• 동적 표본 선택 전략은 정확도와 성능을 효과적으로 균형 잡으며, 사용자가 응답 시간과 오차를 최소한의 오버헤드로 조정할 수 있도록 한다.
• 100노드 클러스터에서의 평가 결과, BlinkDB는 다양한 예측 불가능한 쿼리 워크로드를 일관된 저지연 응답 시간과 오차 제한으로 처리할 수 있었다.
• 오픈소스 구현체는 Conviva Inc.와 같은 실시간 분석 파이프라인을 포함한 실제 생산 환경에서의 구현 가능성을 입증했다.