[论文解读] A Fog Robotic System for Dynamic Visual Servoing

Nan Tian, Jinfa Chen+5 more|arXiv (Cornell University)|Sep 16, 2018

Modular Robots and Swarm Intelligence参考文献 17被引用 3

一句话总结

本文提出了一种雾机器人系统，结合基于云的视觉感知与边缘端的实时控制，实现了对远程操作服务机器人的鲁棒、动态视觉伺服控制。通过使用异步“心跳”协议以及在云端部署的基于AprilTag的基于图像的视觉伺服控制（IBVS），该系统在非结构化环境中实现了对人类的自动箱体抓取，成功率高达100%，在速度和可靠性方面均优于基于云的远程操作。

ABSTRACT

Cloud Robotics is a paradigm where distributed robots are connected to cloud services via networks to access unlimited computation power, at the cost of network communication. However, due to limitations such as network latency and variability, it is difficult to control dynamic, human compliant service robots directly from the cloud. In this work, by leveraging asynchronous protocol with a heartbeat signal, we combine cloud robotics with a smart edge device to build a Fog Robotic system. We use the system to enable robust teleoperation of a dynamic self-balancing robot from the cloud. We first use the system to pick up boxes from static locations, a task commonly performed in warehouse logistics. To make cloud teleoperation more efficient, we deploy image based visual servoing (IBVS) to perform box pickups automatically. Visual feedbacks, including apriltag recognition and tracking, are performed in the cloud to emulate a Fog Robotic object recognition system for IBVS. We demonstrate the feasibility of real-time dynamic automation system using this cloud-edge hybrid, which opens up possibilities of deploying dynamic robotic control with deep-learning recognition systems in Fog Robotics. Finally, we show that Fog Robotics enables the self-balancing service robot to pick up a box automatically from a person under unstructured environments.

研究动机与目标

• 为解决由于网络延迟和波动导致通过云端控制动态、符合人体工学的服务机器人所面临的挑战。
• 开发一种混合云-边缘架构，平衡高层智能（云端）与实时响应能力（边缘端）。
• 在非结构化环境中实现无需重新校准的自动、可靠箱体抓取，利用视觉反馈完成任务。
• 展示动态人机交互场景，即机器人能自主从移动的人类携带者手中抓取箱体。

提出的方法

• 在云端与边缘端之间实施异步“心跳”通信协议，以减轻网络延迟和波动对动态控制的影响。
• 在云端部署AprilTag识别与跟踪，以模拟雾机器人系统中的对象识别功能，提供视觉反馈。
• 采用二维基于图像的视觉伺服控制（IBVS）来控制机器人朝目标箱体运动，无需为每次任务重新进行相机标定。
• 将系统与具备自平衡能力的双臂机器人（Igor）集成，以在操作过程中保持动态平衡与顺应性。
• 设计一个控制环路，由云端处理视觉数据，并通过心跳信号以低带宽向边缘控制器发送指令。
• 在检测到AprilTag后自动触发模式切换，使机器人能够自主追踪并抓取来自人类携带者的箱体。

实验结果

研究问题

• RQ1 具备异步云-边缘通信的雾机器人系统是否能够在网络延迟和波动的情况下，实现对动态自平衡机器人的鲁棒远程操作？
• RQ2 基于云的AprilTag识别结合边缘端IBVS，在非结构化环境中对自动箱体抓取的有效性如何？
• RQ3 视觉伺服控制在多大程度上可以消除动态机器人操作任务中重复相机标定的需求？
• RQ4 该系统能否支持持续的人机协同交互，使机器人能够跟随并从移动的人类携带者处抓取箱体？
• RQ5 在速度和成功率方面，本地操作、云端操作与自动视觉伺服控制之间存在哪些性能权衡？

主要发现

• 该雾机器人系统在从人类携带者处自动抓取箱体的任务中实现了100%的成功率，显著优于云端操作（仅40%的成功率）。
• 自动抓取的平均耗时为46秒，与本地操作（43秒）相近，而云端操作的平均耗时高达340秒。
• 系统在机器人与AprilTag之间最大6米的距离范围内表现出可靠的运行性能，具备稳定的跟踪与运动控制能力。
• 异步心跳协议在面对网络波动时仍能实现鲁棒控制，尽管由于协议窗口大小的限制，最后一次指令后观察到约250毫秒的延迟。
• IBVS模块消除了每次任务前进行相机标定的需求，使系统能够在动态环境中实现快速部署。
• 机器人成功应对了动态障碍物，并通过顺应性伺服系统保持了平衡，人类操作员可引导其绕行复杂路径。