[论文解读] Efficient Approximate Query Answering over Sensor Data with Deterministic Error Guarantees

Jaqueline Brito, Korhan Demirkaya+4 more|arXiv (Cornell University)|Jul 5, 2017

Data Management and Algorithms参考文献 31被引用 4

一句话总结

PlatoDB 是一种系统，通过将时间序列预处理为分层的分段树结构，实现了在多个传感器数据集上高效处理近似查询，并提供确定性误差保证。它利用传感器数据的平滑连续特性进行压缩和快速查询处理，实现了与精确查询评估相比1–3个数量级的速度提升，且具有可证明的误差边界。

ABSTRACT

With the recent proliferation of sensor data, there is an increasing need for the efficient evaluation of analytical queries over multiple sensor datasets. The magnitude of such datasets makes exact query answering infeasible, leading researchers into the development of approximate query answering approaches. However, existing approximate query answering algorithms are not suited for the efficient processing of queries over sensor data, as they exhibit at least one of the following shortcomings: (a) They do not provide deterministic error guarantees, resorting to weaker probabilistic error guarantees that are in many cases not acceptable, (b) they allow queries only over a single dataset, thus not supporting the multitude of queries over multiple datasets that appear in practice, such as correlation or cross-correlation and (c) they support relational data in general and thus miss speedup opportunities created by the special nature of sensor data, which are not random but follow a typically smooth underlying phenomenon. To address these problems, we propose PlatoDB; a system that exploits the nature of sensor data to compress them and provide efficient processing of queries over multiple sensor datasets, while providing deterministic error guarantees. PlatoDB achieves the above through a novel architecture that (a) at data import time pre-processes each dataset, creating for it an intermediate hierarchical data structure that provides a hierarchy of summarizations of the dataset together with appropriate error measures and (b) at query processing time leverages the pre-computed data structures to compute an approximate answer and deterministic error guarantees for ad hoc queries even when these combine multiple datasets.

研究动机与目标

• 解决大规模传感器数据集上精确查询评估效率低下的问题，该问题源于高存储和计算需求。
• 克服现有近似查询处理系统缺乏确定性误差保证的局限性。
• 支持对多个传感器数据集的复杂分析查询，包括相关性和互相关性查询，这些查询在现实应用中非常常见。
• 利用传感器数据固有的平滑性和连续性，实现比通用关系型方法更有效的压缩和更快的查询处理。
• 提供统一框架，支持用户自定义误差或时间预算的即席查询，同时确保确定性的精度边界。

提出的方法

• 在导入时对每个传感器数据集进行预处理，构建二叉分段树，其中每个节点表示一个时间序列的压缩段，并关联一个误差度量。
• 在每个节点使用压缩函数，基于传感器数据的内在平滑性，估计该段内的原始数据点。
• 维护压缩段与原始数据之间的误差度量（例如 L2 或 L∞ 距离），以量化近似精度。
• 在查询处理期间利用分层结构，仅遍历必要的节点，从而实现快速的近似查询评估。
• 通过独立处理每个时间序列的分段树并组合结果，支持多数据集查询，同时提供可证明的误差边界。
• 通过支持在线聚合，允许在保持确定性误差保证的前提下，逐步提高查询结果的精度。

实验结果

研究问题

• RQ1 系统是否能在提供确定性误差保证而非概率性保证的前提下，显著提升传感器数据上近似查询处理的性能？
• RQ2 如何利用传感器时间序列的固有平滑性，创建更有效的数据摘要以支持查询处理？
• RQ3 单一系统是否能高效支持跨多个传感器数据集的复杂分析查询（如相关性和互相关性），并满足用户定义的误差或时间预算？
• RQ4 与对完整数据集进行精确评估相比，分层摘要结构在多大程度上能减少查询处理时间？
• RQ5 将信号处理压缩技术（如 PAA、DWT）集成到数据库查询处理框架中，如何提升效率和准确性？

主要发现

• PlatoDB 在处理完整传感器数据集以计算精确查询答案的系统上，实现了1–3个数量级的速度提升。
• 该系统为多传感器数据集上的查询提供了确定性误差保证，而大多数先前方法依赖于概率性边界。
• 分层分段树数据结构通过支持基于误差和时间约束的选择性遍历，实现了高效的查询处理。
• 该系统支持广泛的分析查询类型，包括相关性和互相关性查询，而这些查询在许多现有近似查询处理系统中并不原生支持。
• PlatoDB 的模块化设计允许无缝集成各种压缩函数（如 PAA、APCA、DWT），从而实现传感器数据的灵活高效摘要。
• 在真实传感器数据集上的初步实验表明，PlatoDB 即使在复杂多数据集查询中，也能在严格的时间和误差预算内提供高精度的近似答案。