[论文解读] Go Fetch: Mobile Manipulation in Unstructured Environments

Kenneth Blomqvist, Michel Breyer+8 more|arXiv (Cornell University)|Apr 2, 2020

Robotic Path Planning Algorithms参考文献 19被引用 12

一句话总结

本文提出RoyalYumi，一种移动操作机器人系统，将感知、定位、导航、运动规划与抓取整合为统一的工作流程，用于在非结构化室内环境中执行物体取用任务。该系统成功实现了基于双臂ABB YuMi机器人安装于Ridgeback移动底盘上的自主物体取用，尽管在障碍物检测、轨迹平滑性及抓取规划鲁棒性方面仍存在局限，但各模块间实现了紧密集成。

ABSTRACT

With humankind facing new and increasingly large-scale challenges in the medical and domestic spheres, automation of the service sector carries a tremendous potential for improved efficiency, quality, and safety of operations. Mobile robotics can offer solutions with a high degree of mobility and dexterity, however these complex systems require a multitude of heterogeneous components to be carefully integrated into one consistent framework. This work presents a mobile manipulation system that combines perception, localization, navigation, motion planning and grasping skills into one common workflow for fetch and carry applications in unstructured indoor environments. The tight integration across the various modules is experimentally demonstrated on the task of finding a commonly available object in an office environment, grasping it, and delivering it to a desired drop-off location. The accompanying video is available at https://youtu.be/e89_Xg1sLnY.

研究动机与目标

• 开发一种完全集成的移动操作机器人系统，能够在非结构化室内环境中实现自主物体取用。
• 解决将多个异构组件——感知、定位、导航、运动规划与抓取——协调整合为单一连贯工作流程的挑战。
• 在办公室等真实非结构化场景中，证明端到端任务执行的可行性。
• 识别当前移动操作机器人系统中的关键局限性，并为未来在鲁棒性、传感与控制方面的研究提供指导。

提出的方法

• 在全向移动的Clearpath Ridgeback移动底盘上搭载双臂ABB YuMi机器人，配备多种传感器：两台Hokuyo 2D LiDAR、一台Intel RealSense D435 RGB-D传感器，以及Skybotix VI-Sensor用于视觉-惯性状态估计。
• 采用视觉-惯性里程计与SLAM技术实现定位与建图，使机器人能够维持对环境的一致内部表征。
• 实施一个感知流水线，结合YOLOv3进行2D目标检测，以及一种简化的点云拼接方法，实现目标物体的密集3D重建。
• 采用分层行为驱动的规划框架，协调高层动作，如导航至目标位置和执行操作任务。
• 使用运动规划器生成移动底盘的轨迹，但由于缺乏轨迹优化，导致运动存在抖动。
• 应用抓取规划器，基于3D物体重建生成抓取候选，但未进行完整的运动学或碰撞可行性检查。

实验结果

研究问题

• RQ1 如何将感知、定位、导航与操作在非结构化环境中的移动操作中紧密集成至单一工作流程？
• RQ2 当前移动操作机器人系统在真实室内环境中运行时，其关键故障模式是什么？
• RQ3 RGB-D与LiDAR数据的融合如何影响障碍物检测与路径规划的可靠性？
• RQ4 通过反馈机制与整体身体控制，基于启发式方法的底盘定位与开环抓取策略能在多大程度上得到改进？
• RQ5 传感器融合与贝叶斯滤波在提升目标检测与位置估计鲁棒性方面发挥何种作用？

主要发现

• 系统成功在非结构化室内环境中实现自主物体取用，包括目标定位、抓取与递送。
• 障碍物检测仅限于脚踝高度平面，可能导致与桌面或无角桌腿发生碰撞，表明需要完整的3D障碍物表示。
• 运动规划器生成的轨迹存在抖动，因缺乏优化，提示可通过最小化加速度实现轨迹平滑化以提升运动质量。
• 目标检测依赖基本的三角测量方法，缺乏不确定性估计与轨迹保持机制，易受漂移与误报影响。
• 抓取规划忽略运动学可行性与碰撞风险，且执行为开环模式，导致在动态或不确定场景中鲁棒性受限。
• 系统缺乏对失败事件（如物体掉落）的响应能力，当前基于状态机的执行机制复杂且难以维护与适应，凸显需要采用更灵活的框架（如行为树）的必要性。