[論文レビュー] Efficient Approximate Query Answering over Sensor Data with Deterministic Error Guarantees

Jaqueline Brito, Korhan Demirkaya+4 more|arXiv (Cornell University)|Jul 5, 2017

Data Management and Algorithms参考文献 31被引用数 4

ひとこと要約

PlatoDB は、時系列データを階層的セグメントツリー構造に事前処理することで、複数のセンサーデータセット上で決定的誤差保証付きの近似クエリ処理を効率的に行うシステムである。センサーデータの滑らかで連続的な性質を活用して圧縮および高速なクエリ処理を実現し、証明可能な誤差バウンドを提供することで、正確なクエリ評価に比べて 1–3 時間の速度向上を達成する。

ABSTRACT

With the recent proliferation of sensor data, there is an increasing need for the efficient evaluation of analytical queries over multiple sensor datasets. The magnitude of such datasets makes exact query answering infeasible, leading researchers into the development of approximate query answering approaches. However, existing approximate query answering algorithms are not suited for the efficient processing of queries over sensor data, as they exhibit at least one of the following shortcomings: (a) They do not provide deterministic error guarantees, resorting to weaker probabilistic error guarantees that are in many cases not acceptable, (b) they allow queries only over a single dataset, thus not supporting the multitude of queries over multiple datasets that appear in practice, such as correlation or cross-correlation and (c) they support relational data in general and thus miss speedup opportunities created by the special nature of sensor data, which are not random but follow a typically smooth underlying phenomenon. To address these problems, we propose PlatoDB; a system that exploits the nature of sensor data to compress them and provide efficient processing of queries over multiple sensor datasets, while providing deterministic error guarantees. PlatoDB achieves the above through a novel architecture that (a) at data import time pre-processes each dataset, creating for it an intermediate hierarchical data structure that provides a hierarchy of summarizations of the dataset together with appropriate error measures and (b) at query processing time leverages the pre-computed data structures to compute an approximate answer and deterministic error guarantees for ad hoc queries even when these combine multiple datasets.

研究の動機と目的

• 大規模なセンサーデータセットにおける正確なクエリ評価の非効率性を是正する。これは、高コストなストレージおよび計算リソース要件に起因する。
• 確率的バウンドに依存するが、決定的誤差保証を欠いている既存の近似クエリ処理システムの限界を克服する。
• 実世界の応用で一般的な相関および相互相関を含む、複雑な分析クエリを複数のセンサーデータセット上でサポートする。
• センサーデータに内在する滑らかさと連続性を活用し、一般向けリレーショナル手法よりも効果的な圧縮とより迅速なクエリ処理を実現する。
• ユーザー定義の誤差または時間予算を満たすアドホッククエリをサポートする統合フレームワークを提供し、決定的精度バウンドを保証する。

提案手法

• インポート時に各センサーデータセットを事前処理し、各ノードが時系列データの圧縮セグメントと関連する誤差測度を持つ二分セグメントツリーを構築する。
• センサーデータの滑らかさに基づいて、各ノードで元のデータポイントを推定するための圧縮関数を用いる。
• 圧縮セグメントと元のデータとの間の誤差測度（例：L2 または L∞ 距離）を維持し、近似精度を定量化する。
• クエリ処理中に階層的構造を活用し、必要なノードのみを走査することで、高速な近似クエリ評価を実現する。
• 各時系列データのセグメントツリーを個別に処理し、結果を統合することで、複数データセットクエリをサポートし、証明可能な誤差バウンドを保つ。
• オンライン集計をサポートし、精度を段階的に向上させる際にも決定的誤差保証を維持できる。

実験結果

リサーチクエスチョン

• RQ1 決定的誤差保証（確率的保証ではなく）を提供する一方で、センサーデータ上の近似クエリ処理において顕著な性能向上を達成できるか。
• RQ2 センサータイムシリーズに内在する滑らかさをどのように活用して、クエリ処理のためのより効果的なデータ要約を構築できるか。
• RQ3 ユーザー定義の誤差または時間予算を満たす条件下で、1 つのシステムが複数のセンサーデータセット上で複雑な分析クエリ（例：相関や相互相関）を効率的に処理できるか。
• RQ4 階層的要約構造は、完全なデータセットに対する正確な評価に比べて、クエリ処理時間をどの程度短縮できるか。
• RQ5 信号処理の圧縮技術（例：PAA、DWT）をデータベースクエリ処理フレームワークに統合することで、効率性と正確性がどの程度向上するか。

主な発見

• PlatoDB は、正確なクエリ回答を求めるために全センサーデータセットを処理するシステムに比べて、1–3 時間の速度向上を達成する。
• 多くの先行研究が確率的バウンドに依存するのに対し、PlatoDB は複数のセンサーデータセットに対するクエリで決定的誤差保証を提供する。
• 階層的セグメントツリーのデータ構造により、誤差および時間制約に基づく選択的走査が可能となり、効率的なクエリ処理が実現される。
• 相関や相互相関を含む広範な分析クエリをサポートするが、多くの既存の近似クエリ処理システムではネイティブにサポートされていない。
• PlatoDB のモジュラー設計により、PAA や APCA、DWT などのさまざまな圧縮関数をシームレスに統合でき、センサーデータの柔軟で効率的な要約が可能になる。
• 実際のセンサーデータセットを用いた予備実験では、複雑な複数データセットクエリに対しても、厳密な時間および誤差予算内に高精度な近似回答を提供できることが示された。