[论文解读] The NebulaStream Platform: Data and Application Management for the Internet of Things

Steffen Zeuch, Ankit Chaudhary+7 more|arXiv (Cornell University)|Oct 17, 2019

IoT and Edge/Fog Computing参考文献 35被引用 30

一句话总结

NebulaStream 是一个面向物联网（IoT）的通用端到端数据管理平台，统一管理传感器、雾计算和云层的数据与应用。它通过在异构硬件上实现分布式的自适应查询处理，解决了异构性、通信不可靠性和系统动态演化的挑战，早期结果表明其可扩展性超越集中式云模型。

ABSTRACT

The Internet of Things (IoT) presents a novel computing architecture for data management: a distributed, highly dynamic, and heterogeneous environment of massive scale. Applications for the IoT introduce new challenges for integrating the concepts of fog and cloud computing as well as sensor networks in one unified environment. In this paper, we highlight these major challenges and outline how existing systems handle them. To address these challenges, we introduce the NebulaStream platform, a general purpose, endto-end data management system for the IoT. NebulaStream addresses the heterogeneity and distribution of compute and data, supports diverse data and programming models going beyond relational algebra, deals with potentially unreliable communication, and enables constant evolution under continuous operation. In our evaluation, we demonstrate the effectiveness of our approach by providing early results on partial aspects.

研究动机与目标

• 解决现有物联网数据管理系统的局限性，这些系统要么以云为中心，要么以雾计算为中心，无法统一管理传感器、雾计算和云资源。
• 克服物联网环境中硬件异构性、通信不可靠性和系统动态演化的挑战。
• 通过支持超越关系代数的多样化数据模型和编程抽象，实现跨分布式异构设备的端到端实时数据处理。
• 设计一个支持持续运行与演化的系统，包括在不可靠网络中实现动态查询重构和容错能力。
• 提供统一平台，支持跨范式的优化技术，如算子重排序、融合与拆分，适用于传感器、雾计算和云层。

提出的方法

• 设计一种分布式的事件驱动架构，支持在传感器、雾计算和云层之间执行流式查询。
• 实现感知雾计算的查询放置与执行，利用边缘设备实现早期数据聚合与低延迟处理。
• 支持多种编程模型与数据抽象，扩展超越关系代数的范畴，以适应复杂实时工作负载。
• 集成容错机制以应对通信不可靠性和节点故障，包括中间结果的复制与恢复。
• 在运行时支持查询计划的动态自适应，以适应系统状态变化和硬件资源可用性的动态调整。
• 借鉴无线传感器网络（如网络内聚合）和云/流处理系统（如 Flink、Kafka）的概念，构建一个一致且可扩展的平台。

实验结果

研究问题

• RQ1 如何设计统一的数据管理平台，以有效应对传感器、雾计算设备和云服务器之间计算资源的异构性？
• RQ2 在动态且不可靠的物联网环境中，支持持续演化的查询执行，需要哪些架构与运行时机制？
• RQ3 如何高效地将数据处理任务卸载至从传感器到雾计算再到云的整个堆栈，以最小化延迟与带宽消耗？
• RQ4 在分布式物联网系统中，面对间歇性连接和节点故障，哪些机制可实现容错与弹性？
• RQ5 如何在物联网工作负载中，通过支持多样化的编程模型与数据抽象，实现通用且可扩展的数据处理？

主要发现

• 集中式云架构（如 Kafka + Flink）在约 20 个物联网数据生产者时达到饱和，由于 Kafka 中的消息积压，端到端延迟随之显著增加。
• NebulaStream 通过在靠近数据源的雾节点和传感器节点上分发计算，避免中心化瓶颈，实现了可扩展的低延迟处理。
• 早期实验结果表明，NebulaStream 可在数百万个分布式数据源上维持高吞吐量处理，在负载下表现优于集中式模型。
• 该平台支持动态查询自适应与容错能力，即使在通信不可靠和节点故障的情况下，也能实现持续运行。
• NebulaStream 有效整合了从低功耗传感器到高性能云服务器的异构设备，构建为单一统一的数据处理流水线。
• 通过结合传感器网络、雾计算与云流处理技术，NebulaStream 实现了跨层优化，如算子重排序与工作负载卸载。