[论文解读] A Fog Robotics Approach to Deep Robot Learning: Application to Object Recognition and Grasp Planning in Surface Decluttering

Ajay Kumar Tanwani, Nitesh Mor+3 more|arXiv (Cornell University)|Mar 22, 2019

Robotics and Automated Systems参考文献 55被引用 7

一句话总结

本文提出了一种雾机器人（Fog Robotics）框架，通过在云端与边缘之间分配深度学习工作负载，以改善机器人感知的延迟、隐私保护以及仿真到现实的迁移性能。通过在云端使用公开的合成数据进行训练，并在边缘端对真实世界环境进行模型适配，该系统将推理延迟降低了4倍，并在213次尝试中实现了86.85%的抓取成功率，用于表面去 clutter 任务。

ABSTRACT

The growing demand of industrial, automotive and service robots presents a challenge to the centralized Cloud Robotics model in terms of privacy, security, latency, bandwidth, and reliability. In this paper, we present a `Fog Robotics' approach to deep robot learning that distributes compute, storage and networking resources between the Cloud and the Edge in a federated manner. Deep models are trained on non-private (public) synthetic images in the Cloud; the models are adapted to the private real images of the environment at the Edge within a trusted network and subsequently, deployed as a service for low-latency and secure inference/prediction for other robots in the network. We apply this approach to surface decluttering, where a mobile robot picks and sorts objects from a cluttered floor by learning a deep object recognition and a grasp planning model. Experiments suggest that Fog Robotics can improve performance by sim-to-real domain adaptation in comparison to exclusively using Cloud or Edge resources, while reducing the inference cycle time by 4 imes to successfully declutter 86% of objects over 213 attempts.

研究动机与目标

• 解决集中式云端机器人在实时机器人应用中面临的延迟、带宽、隐私和可靠性方面的局限性。
• 通过在边缘端实现域不变的模型适应，克服机器人学习中仿真到现实的领域偏移挑战。
• 降低移动机器人在家庭和车间等非结构化环境中运行时的推理延迟并提升可靠性。
• 展示一种安全的联邦学习流程，确保敏感的真实世界数据保留在可信的本地网络内，同时利用公开的合成数据进行训练。
• 通过移动机器人平台，实现对象识别与抓取规划任务中深度模型的高效、低延迟部署。

提出的方法

• 在云端使用公开的合成图像对用于对象识别和抓取规划的深度神经网络进行训练，以避免隐私问题。
• 在可信的本地网络内，利用在边缘端收集的私有真实图像，对预训练模型进行适应性调整。
• 将适配后的模型部署在具备GPU支持的边缘设备上，以实现低于100毫秒的低延迟推理，支持实时决策。
• 采用类似联邦学习的架构，由云端负责大规模预训练，边缘端执行本地化适应与推理。
• 利用机器人与边缘/云端之间的无线通信，通过仅传输模型权重和预测结果来最小化数据传输，从而优化往返时间（RTT）。
• 应用领域随机化与域不变表示学习技术，以提升从仿真到真实场景的泛化能力。

实验结果

研究问题

• RQ1 如何在保护数据隐私的前提下，有效将深度学习模型从仿真迁移到真实世界的机器人应用？
• RQ2 与云端相比，在边缘端部署推理对机器人应用中的延迟、可靠性及时间波动性有何影响？
• RQ3 与仅使用云端或仅使用边缘的部署方式相比，混合云端-边缘架构是否能降低推理延迟并提升表面去 clutter 任务的性能？
• RQ4 在边缘端进行领域自适应在多大程度上能提升对象识别与抓取规划的仿真到现实泛化能力？
• RQ5 在无线网络环境中，机器人与远程服务器之间的通信开销如何影响端到端系统性能？

主要发现

• 与EC2云端（东部）相比，将推理服务部署在边缘端使往返时间（RTT）降低了4倍，对象识别的RTT从437.63毫秒降至119.40毫秒。
• 抓取规划模型在213次尝试中实现了86.85%的准确率，成功清理了185件中的185件物体，显著优于正交抓取（76.19%准确率）。
• 在边缘端完成领域适应后，对象识别在真实世界图像上的准确率达到90.14%，证明了有效的仿真到现实迁移。
• 通信时间主导了整体推理成本，RTT随与服务器距离的增加而显著上升，尤其在云端表现明显（西部：181.61毫秒，东部：437.63毫秒）。
• 配备GPU的边缘设备将抓取规划的推理时间缩短至1753.65毫秒（inf），RTT降低至1873.16毫秒，优于基于CPU的边缘设备和远程云端实例。
• 通过在边缘端部署模型，系统实现了低于100毫秒的低延迟推理，使移动机器人在动态环境中能够实现实时决策。