[论文解读] Engineering and Experimentally Benchmarking Open Source MQTT Broker Implementations

Jasenka Dizdarević, Marc Michalke+1 more|arXiv (Cornell University)|May 23, 2023

IoT and Edge/Fog Computing被引用 5

一句话总结

本论文提出了一套可复现的、开源的测试平台，用于在受控网络条件下，对五种开源MQTT代理（Mosquitto、EMQX、RabbitMQ、VerneMQ和HiveMQ）在AMD64虚拟机和ARM64树莓派集群上进行实验性基准测试。主要发现表明，硬件平台（虚拟机与树莓派）和消息负载大小（尤其是1MB）对性能的影响远大于代理选择本身，其中虚拟机在响应时间上显著更低且更稳定，尤其在高延迟或丢包条件下表现更优。

ABSTRACT

The Message Queuing Telemetry Transport (MQTT) protocol is one of the most widely used IoT protocol solutions. In this work, we are especially interested in open-source MQTT Broker implementations (such as Mosquitto, EMQX, RabbitMQ, VerneMQ, and HiveMQ). To this end, we engineer a network testbed to experimentally benchmark the performance of these implementations in an edge computing context with constrained devices. In more detail, we engineer an automated deployment and orchestration of the containerized MQTT broker implementations, with support for deployment across either moderately powerful AMD64 devices, or more resource constrained ARM64 devices. The proposed MQTT implementations are evaluated in terms of overhead response time and different payload sizes. Results showed that the hardware platform used as well as the message size, and the network parameters (latency, packet loss and jitter) have a significant impact on the performance differences between the brokers. All results, software tools and code are fully reproducible and free and open source.

研究动机与目标

• 为解决在资源受限设备的真实边缘网络环境中，对开源MQTT代理缺乏系统化、可复现的实验基准测试的问题。
• 评估网络参数（延迟、抖动和丢包）对广泛使用的开源MQTT代理性能的影响。
• 比较五种主流开源MQTT代理（Mosquitto、EMQX、RabbitMQ、VerneMQ、HiveMQ）在不同硬件平台（AMD64虚拟机与ARM64树莓派）上的性能表现。
• 开发一个完全自动化、容器化且开源的测试平台，用于在边缘计算场景中重复进行MQTT代理性能评估。
• 为系统设计者提供实用建议，帮助其根据消息大小、网络条件和硬件限制选择最合适的MQTT代理。

提出的方法

• 利用Docker和Kubernetes构建可复现的容器化网络测试平台，用于在AMD64虚拟机和ARM64树莓派集群上编排MQTT代理部署。
• 实现自动化测试执行流水线，以在不同网络条件下（包括可配置的延迟、抖动和丢包）基准测试代理性能，使用TC（流量控制）工具进行网络模拟。
• 以响应时间偏移和消息交换延迟作为关键指标，测量三种不同负载大小（1KB、10KB和1MB）下的性能表现。
• 在相同测试条件下部署并评估五种开源MQTT代理（Mosquitto、EMQX、RabbitMQ、VerneMQ和HiveMQ），确保公平比较。
• 采用统计分析方法（中位数和四分位距）评估在多次运行和不同网络场景下性能的一致性与变异性。
• 设计测试平台具备可扩展性，支持未来集成更多代理和通信协议框架以用于基准测试。

实验结果

研究问题

• RQ1 在不同网络条件（包括延迟、抖动和丢包）下，不同开源MQTT代理实现的性能表现如何？
• RQ2 硬件平台（AMD64虚拟机与ARM64树莓派）对边缘计算环境中MQTT代理性能有何影响？
• RQ3 消息负载大小（1KB、10KB、1MB）如何影响不同网络和硬件配置下MQTT代理的响应时间和延迟？
• RQ4 与网络和硬件因素相比，代理实现差异对性能的影响程度如何？
• RQ5 是否可以有效利用完全自动化、可复现且开源的测试平台，在真实世界边缘场景中对MQTT代理性能进行基准测试？

主要发现

• 硬件平台对性能的影响远大于MQTT代理的选择，所有场景下虚拟机的响应时间均显著低于树莓派部署。
• 在1KB和10KB消息负载下，网络质量下降仅导致各代理的延迟轻微增加，不同实现之间的差异可忽略不计。
• 在1MB消息负载下，所有代理均出现显著性能下降，中位数延迟明显上升，四分位距（IQR）扩大，表明性能变异性增加。
• 在虚拟机的最坏网络场景中，VerneMQ（345.64 ms）和HiveMQ（374.80 ms）的中位数响应时间明显高于Mosquitto（437.10 ms）、EMQX（418.81 ms）和RabbitMQ（429.83 ms），表明大负载会放大性能差异。
• 当在相同硬件和网络条件下部署时，测试平台自身的性能偏移极小且各代理间相近，验证了基准测试设置的可靠性。
• 结果表明，硬件限制和消息大小是选择MQTT代理时的关键因素，尤其在对延迟敏感的物联网应用中。