[논문 리뷰] Efficient Approximate Query Answering over Sensor Data with Deterministic Error Guarantees

Jaqueline Brito, Korhan Demirkaya외 4명|arXiv (Cornell University)|2017. 07. 05.

Data Management and Algorithms참고 문헌 31인용 수 4

한 줄 요약

PlatoDB는 시간 시리즈를 계층적 세그먼트 트리 구조로 사전 처리하여 다중 센서 데이터셋에 대해 결정적 오차 보장을 갖는 효율적인 근사 쿼리 처리를 가능하게 하는 시스템이다. 센서 데이터의 부드럽고 연속적인 성질을 활용하여 압축 및 정확한 오차 범위를 보장하는 빠른 쿼리 처리를 실현함으로써, 정확한 쿼리 평가 대비 1–3개의 지수 차수 빠른 성능 향상을 달성한다.

ABSTRACT

With the recent proliferation of sensor data, there is an increasing need for the efficient evaluation of analytical queries over multiple sensor datasets. The magnitude of such datasets makes exact query answering infeasible, leading researchers into the development of approximate query answering approaches. However, existing approximate query answering algorithms are not suited for the efficient processing of queries over sensor data, as they exhibit at least one of the following shortcomings: (a) They do not provide deterministic error guarantees, resorting to weaker probabilistic error guarantees that are in many cases not acceptable, (b) they allow queries only over a single dataset, thus not supporting the multitude of queries over multiple datasets that appear in practice, such as correlation or cross-correlation and (c) they support relational data in general and thus miss speedup opportunities created by the special nature of sensor data, which are not random but follow a typically smooth underlying phenomenon. To address these problems, we propose PlatoDB; a system that exploits the nature of sensor data to compress them and provide efficient processing of queries over multiple sensor datasets, while providing deterministic error guarantees. PlatoDB achieves the above through a novel architecture that (a) at data import time pre-processes each dataset, creating for it an intermediate hierarchical data structure that provides a hierarchy of summarizations of the dataset together with appropriate error measures and (b) at query processing time leverages the pre-computed data structures to compute an approximate answer and deterministic error guarantees for ad hoc queries even when these combine multiple datasets.

연구 동기 및 목표

• 고용량 센서 데이터셋에서 정확한 쿼리 평가의 비효율성, 즉 높은 저장 및 계산 요구량 문제를 해결하기 위해.
• 기존의 근사 쿼리 처리 시스템이 결정적 오차 보장을 제공하지 못하는 한계를 극복하기 위해.
• 실제 응용에서 흔한 상관관계 및 교차상관관계를 포함한 복잡한 분석 쿼리를 다중 센서 데이터셋에서 지원하기 위해.
• 센서 데이터의 본질적 부드러움과 연속성을 활용하여 일반 관계형 방법보다 더 효과적인 압축과 더 빠른 쿼리 처리를 가능하게 하기 위해.
• 사용자 정의 오차 또는 시간 예산을 고려한 임의의 쿼리에 대해 통합된 프레임워크를 제공하면서도 결정적 정확도 범위를 보장하기 위해.

제안 방법

• 각 센서 데이터셋을 임포트할 때 사전 처리하여, 각 노드가 시간 시리즈의 압축 세그먼트와 관련 오차 측도를 갖는 이진 세그먼트 트리를 구성한다.
• 센서 데이터의 기초적인 부드러움에 기반하여, 각 노드에서 세그먼트 내 원본 데이터 포인트를 추정하는 압축 함수를 사용한다.
• 압축 세그먼트와 원본 데이터 간의 오차 측도(예: L2 또는 L∞ 거리)를 유지하여 근사 정확도를 정량화한다.
• 쿼리 처리 중에 계층적 구조를 활용하여 필요한 노드만 순차적으로 탐색함으로써, 빠른 근사 쿼리 평가를 가능하게 한다.
• 각 시간 시리즈의 세그먼트 트리를 별도로 처리하고 결과를 조합함으로써 다중 데이터셋 쿼리를 지원하며, 오차 보장을 보장한다.
• 진행적인 정밀도 향상이 가능한 온라인 집계를 지원하여 정밀도가 증가함에 따라 쿼리 결과를 점진적으로 개선하면서도 결정적 오차 보장을 유지한다.

실험 결과

연구 질문

• RQ1 결정적 오차 보장을 제공함으로써 확률적 보장에 의존하는 기존 방법보다, 센서 데이터에 대한 근사 쿼리 처리에서 상당한 성능 향상을 달성할 수 있는가?
• RQ2 센서 시간 시리즈의 본질적 부드러움을 어떻게 활용하여 더 효과적인 데이터 요약을 만들 수 있는가?
• RQ3 사용자 정의 오차 또는 시간 예산을 고려할 때, 단일 시스템이 다중 센서 데이터셋에서 복잡한 분석 쿼리(예: 상관관계 및 교차상관관계)를 효율적으로 지원할 수 있는가?
• RQ4 정확한 평가 대비 계층적 요약 구조가 쿼리 처리 시간을 얼마나 줄일 수 있는가?
• RQ5 신호 처리 압축 기법(PAA, DWT 등)을 데이터베이스 쿼리 처리 프레임워크에 통합함으로써 효율성과 정확도가 어떻게 향상되는가?

주요 결과

• PlatoDB는 정확한 쿼리 답을 도출하기 위해 전체 센서 데이터셋을 처리하는 시스템 대비 1–3개의 지수 차수 빠른 성능 향상을 달성한다.
• 대부분의 이전 방법이 확률적 오차 범위에 의존하는 것과 달리, PlatoDB는 다중 센서 데이터셋에 대한 쿼리에 대해 결정적 오차 보장을 제공한다.
• 계층적 세그먼트 트리 데이터 구조는 오차 및 시간 제약 조건에 기반한 선택적 탐색을 가능하게 하여 효율적인 쿼리 처리를 가능하게 한다.
• 이 시스템은 상관관계 및 교차상관관계를 포함한 광범위한 분석 쿼리 클래스를 지원하며, 많은 기존 근사 쿼리 처리 시스템이 네이티브로 지원하지 않는 기능을 포함한다.
• PlatoDB의 모듈러 설계는 PAA, APCA, DWT 등의 다양한 압축 함수를 간편하게 통합할 수 있게 하여 센서 데이터의 탄력적이고 효율적인 요약을 가능하게 한다.
• 실제 센서 데이터셋을 대상으로 한 초도 실험 결과, 복잡한 다중 데이터셋 쿼리에 대해서도 엄격한 시간 및 오차 예산 내에서 고정밀도 근사 결과를 제공할 수 있음을 입증하였다.