[论文解读] Comparison of Middlewares in Edge-to-Edge and Edge-to-Cloud Communication for Distributed ROS2 Systems

Jiaqiang Zhang, Xianjia Yu+3 more|arXiv (Cornell University)|Sep 14, 2023

IoT and Edge/Fog Computing被引用 4

一句话总结

本研究评估了DDS、MQTT和Zenoh在边缘到边缘及边缘到云通信的分布式ROS 2系统中的网络中间件性能。通过在以太网、Wi-Fi和4G网络上进行延迟、吞吐量以及真实机器人轨迹漂移测试，Zenoh在无线环境中表现最优，轨迹漂移最小（96秒内仅0.05米），而CycloneDDS在以太网上表现最佳。还分析了CPU使用率和安全功能的影响，Zenoh表现出低开销和加密下的性能下降最小。

ABSTRACT

The increased data transmission and number of devices involved in communications among distributed systems make it challenging yet significantly necessary to have an efficient and reliable networking middleware. In robotics and autonomous systems, the wide application of ROS\,2 brings the possibility of utilizing various networking middlewares together with DDS in ROS\,2 for better communication among edge devices or between edge devices and the cloud. However, there is a lack of comprehensive communication performance comparison of integrating these networking middlewares with ROS\,2. In this study, we provide a quantitative analysis for the communication performance of utilized networking middlewares including MQTT and Zenoh alongside DDS in ROS\,2 among a multiple host system. For a complete and reliable comparison, we calculate the latency and throughput of these middlewares by sending distinct amounts and types of data through different network setups including Ethernet, Wi-Fi, and 4G. To further extend the evaluation to real-world application scenarios, we assess the drift error (the position changes) over time caused by these networking middlewares with the robot moving in an identical square-shaped path. Our results show that CycloneDDS performs better under Ethernet while Zenoh performs better under Wi-Fi and 4G. In the actual robot test, the robot moving trajectory drift error over time (96\,s) via Zenoh is the smallest. It is worth noting we have a discussion of the CPU utilization of these networking middlewares and the performance impact caused by enabling the security feature in ROS\,2 at the end of the paper.

研究动机与目标

• 评估DDS、MQTT和Zenoh在不同网络条件下多主机ROS 2系统中的通信性能。
• 评估网络类型（以太网、Wi-Fi和4G）对延迟、吞吐量和实时控制精度的影响。
• 通过TurtleBot 4沿方形路径移动的真实机器人实验，测量轨迹漂移误差。
• 分析ROS 2中启用安全功能后对CPU利用率和性能开销的影响。

提出的方法

• 通过在以太网、Wi-Fi和4G网络上测量不同大小（1k至2MB）的ROS 2消息端到端延迟和吞吐量，开展定量实验。
• 部署包含一个中心主机和一个TurtleBot 4机器人的多主机ROS 2系统，使用OptiTrack MOCAP系统追踪位置并随时间计算漂移。
• 使用'performance_test'工具评估中间件性能，测量在不同消息负载和网络条件下下的CPU使用率。
• 启用ROS 2安全功能，使用小消息（1k）测量其对延迟、吞吐量和CPU使用率的影响。
• 采用ROS 2主题的发布/订阅模型模拟实时机器人通信，对比原生DDS与集成的MQTT和Zenoh中间件。
• 每种中间件收集并分析2200帧，计算连续96秒机器人运动过程中的漂移误差。

Figure 1 : Proposed evaluation scheme in this study

实验结果

研究问题

• RQ1 在多主机ROS 2系统中，DDS、MQTT和Zenoh在以太网、Wi-Fi和4G网络下的延迟和吞吐量表现如何比较？
• RQ2 在真实世界条件下，控制移动机器人沿方形路径运动时，哪种中间件能最小化轨迹漂移误差？
• RQ3 在不同消息大小和网络类型下，各中间件的CPU使用率开销如何？
• RQ4 启用ROS 2安全功能后，对每种中间件的延迟、吞吐量和CPU使用率有何影响？
• RQ5 在边缘到云和边缘到边缘的机器人通信中，哪种中间件在性能、效率和实时控制精度之间提供了最佳平衡？

主要发现

• 在以太网上，CycloneDDS实现最低延迟（无安全功能时为72.11 ms）和最高吞吐量（9804 bytes/sec），优于Zenoh和MQTT。
• 在Wi-Fi和4G网络上，Zenoh表现出卓越性能，尤其在大消息下延迟最低、吞吐量最高。
• 在真实机器人测试中，Zenoh产生的轨迹漂移误差最小——96秒内仅0.05米，表明其具有更优的实时控制精度。
• 所有中间件的CPU使用率均保持在较低水平，Zenoh-TCP和Zenoh-broker在大消息下表现出最小开销。
• 启用ROS 2安全功能后，平均延迟增加5.24 ms（从72.11 ms增至77.35 ms），吞吐量减少103 bytes/sec，但对CPU使用率影响可忽略。
• Zenoh的性能表现和低资源消耗与ROS 2社区反馈一致，也符合ROS 2 TSC决定将Zenoh纳入未来版本考虑的决策。

Figure 2 : DDS architecture in ROS 2 system