[论文解读] Medians and Beyond: New Aggregation Techniques for Sensor Networks

Nisheeth Shrivastava, Chiranjeeb Buragohain+2 more|ArXiv.org|Aug 17, 2004

Energy Efficient Wireless Sensor Networks参考文献 10被引用 29

一句话总结

本文提出 q-digest，一种新型的无线传感器网络内联网数据聚合技术，可通过固定大小的摘要高效近似计算复杂查询（如中位数、分位数、直方图和共识值）。通过在保留频率信息的同时压缩数据，q-digest 降低了通信开销和能耗，与朴素传输方法相比，可将网络寿命延长高达 100 倍。

ABSTRACT

Wireless sensor networks offer the potential to span and monitor large geographical areas inexpensively. Sensors, however, have significant power constraint (battery life), making communication very expensive. Another important issue in the context of sensor-based information systems is that individual sensor readings are inherently unreliable. In order to address these two aspects, sensor database systems like TinyDB and Cougar enable in-network data aggregation to reduce the communication cost and improve reliability. The existing data aggregation techniques, however, are limited to relatively simple types of queries such as SUM, COUNT, AVG, and MIN/MAX. In this paper we propose a data aggregation scheme that significantly extends the class of queries that can be answered using sensor networks. These queries include (approximate) quantiles, such as the median, the most frequent data values, such as the consensus value, a histogram of the data distribution, as well as range queries. In our scheme, each sensor aggregates the data it has received from other sensors into a fixed (user specified) size message. We provide strict theoretical guarantees on the approximation quality of the queries in terms of the message size. We evaluate the performance of our aggregation scheme by simulation and demonstrate its accuracy, scalability and low resource utilization for highly variable input data sets.

研究动机与目标

• 解决现有传感器网络查询系统仅支持 SUM、AVG 和 MIN/MAX 等基本聚合的局限性。
• 实现对中位数、分位数、直方图和共识值等复杂查询的高效网络内计算。
• 通过具有可证明近似质量的数据摘要，降低在电源受限的传感器网络中的通信与能耗成本。
• 在节点间均衡分配传输负载，以延长网络寿命。

提出的方法

• q-digest 数据结构使用二叉树来汇总数据值，其中每个节点存储一个范围内值的计数，从而实现高效的合并与压缩。
• 通过分层桶策略将值分组到区间中，优先保留高频值并压缩低频值。
• 通过合并区间并应用保持相对频率准确性的压缩规则，维持固定大小的摘要（用户指定）。
• 聚合操作沿路由树以分布式方式执行，每个节点将其本地数据与传入的摘要合并为单个 q-digest。
• q-digest 通过允许基站从压缩摘要中重构分位数、中位数和直方图，支持近似查询回答。
• 基于 q-digest 大小，提供了近似查询误差的理论界，确保近似质量。

实验结果

研究问题

• RQ1 我们能否设计一种可扩展、节能的数据聚合方案，使传感器网络能够支持中位数和分位数等复杂查询？
• RQ2 如何对传感器数据进行压缩，以在最小化通信成本的同时保留高频值？
• RQ3 在分布式传感器网络中，使用固定大小摘要进行近似查询的理论误差界是什么？
• RQ4 与朴素传输相比，q-digest 方案在能效和网络寿命方面表现如何？

主要发现

• 与基于列表的朴素传输相比，q-digest 方案将通信与能耗降低了数个数量级。
• 使用 400 字节的 q-digest，在一个 8000 个节点的网络中，单次查询后所有节点的初始电池电量保留超过 99%，而使用列表方法时，超过 0.02% 的节点在单次查询中耗电超过一半。
• 使用 q-digest 后，网络寿命可延长高达 100 倍，因为每个节点每次查询的能耗不超过 400 单位。
• q-digest 对近似误差提供了强有力的理论保证，确保分位数和中位数的高精度。
• 该方案具有可扩展性，在随机与相关数据集上均表现良好，展现出对多样化输入模式的鲁棒性。