[论文解读] FogMQ: A Message Broker System for Enabling Distributed, Internet-Scale IoT Applications over Heterogeneous Cloud Platforms

Sherif Abdelwahab, Bechir Hamdaoui|arXiv (Cornell University)|Oct 3, 2016

IoT and Edge/Fog Computing参考文献 36被引用 12

一句话总结

FogMQ 是一种去中心化、自组织的消息代理系统，通过在异构云和边缘平台之间自主迁移代理副本，实现低延迟、互联网规模的物联网应用。利用 Flock 算法，副本可动态迁移以最小化加权尾部端到端延迟，在无集中控制的情况下实现 (1+ε)-近似最优性能。

ABSTRACT

Excessive tail end-to-end latency occurs with conventional message brokers as a result of having massive numbers of geographically distributed devices communicate through a message broker. On the other hand, broker-less messaging systems, though ensure low latency, are highly dependent on the limitation of direct device-to-device (D2D) communication technologies, and cannot scale well as large numbers of resource-limited devices exchange messages. In this paper, we propose FogMQ, a cloud-based message broker system that overcomes the limitations of conventional systems by enabling autonomous discovery, self-deployment, and online migration of message brokers across heterogeneous cloud platforms. For each device, FogMQ provides a high capacity device cloning service that subscribes to device messages. The clones facilitate near-the-edge data analytics in resourceful cloud compute nodes. Clones in FogMQ apply Flock, an algorithm mimicking flocking-like behavior to allow clones to dynamically select and autonomously migrate to different heterogeneous cloud platforms in a distributed manner.

研究动机与目标

• 解决传统消息代理在大规模、地理分布式的物联网系统中因多跳排队和网络干扰导致的高端到端延迟问题。
• 克服无代理设备到设备（D2D）通信在物联网设备资源受限情况下面临的可扩展性和延迟限制。
• 实现在异构云平台之间自主、去中心化的代理副本发现与迁移，以最小化加权尾部端到端延迟。
• 设计一种无需修改现有云平台控制器且不依赖集中监控或控制单元的系统。
• 通过动态适应设备通信模式和云平台状态变化，稳定物联网计算环境中的代理部署。

提出的方法

• 在靠近终端用户设备的资源丰富的云盒或边缘节点中部署消息代理副本，以减少网络跳数和延迟。
• 使用设备克隆服务为每个设备维护持久、高容量的消息代理服务，支持近边缘分析。
• 实现 Flock 算法，受群体行为启发，实现异构云平台之间代理副本的自主、去中心化迁移。
• 每个副本自主测量消息负载、与其他设备/副本的尾部延迟，以及迁移到其他平台的潜在延迟，以指导迁移决策。
• 基于最小化加权尾部端到端延迟指标制定迁移决策，确保系统稳定性和 (1+ε)-近似最优性。
• 去中心化迁移过程，消除对中心控制器的依赖，提升互联网规模物联网部署的可扩展性。

实验结果

研究问题

• RQ1 如何在大规模、地理分布式的物联网应用中最小化消息代理系统的尾部端到端延迟？
• RQ2 在无集中控制的情况下，跨异构云平台的自主、去中心化副本迁移能否实现低且有界的端到端延迟？
• RQ3 何种迁移策略可在动态的雾计算环境中实现稳定、可扩展且接近最优的延迟性能？
• RQ4 Flock 算法如何确保副本迁移实现 (1+ε)-近似最优延迟，同时避免中心协调？
• RQ5 在延迟敏感的物联网工作负载中，自我发现和自我部署的代理副本在多大程度上优于传统代理如 Redis 和 D2D 系统？

主要发现

• FogMQ 通过在网路边缘部署代理，避免了集中式云代理中常见的多跳排队和网络干扰，显著降低了端到端延迟。
• Flock 算法实现了在异构平台之间自主、去中心化的代理副本迁移，在最小化加权尾部端到端延迟方面达到 (1+ε)-近似最优性能。
• 实验表明，直接的设备到设备（D2D）消息传输的端到端延迟是使用单跳代理的两倍，凸显了边缘代理的必要性。
• FogMQ 通过边缘部署和动态迁移，显著降低了尾部延迟，优于传统代理如 Redis 和 Nats。
• 系统通过基于本地测量和类群体协调的去中心化迁移决策，避免了集中控制带来的可扩展性和复杂性问题。
• 所提出的架构与现有云平台兼容，无需修改云控制器软件，可无缝集成到异构物联网基础设施中。