[论文解读] Monte-Carlo Tree Search for Efficient Visually Guided Rearrangement Planning

Yann Labbé, Sergey Zagoruyko+5 more|arXiv (Cornell University)|Apr 23, 2019

Robot Manipulation and Learning参考文献 42被引用 73

一句话总结

本论文提出了一个完整的可视化引导重排规划管线，使用蒙特卡洛树搜索（MCTS）来规划将许多物体从初始摆放移到目标摆放的动作，同时训练出基于合成数据的无标定深度视觉状态估计器。它实现了快速规划（25个对象时60 ms）并在UR-5平台的真实机器人上表现鲁棒（60 ms for 25 objects）。

ABSTRACT

We address the problem of visually guided rearrangement planning with many movable objects, i.e., finding a sequence of actions to move a set of objects from an initial arrangement to a desired one, while relying on visual inputs coming from an RGB camera. To do so, we introduce a complete pipeline relying on two key contributions. First, we introduce an efficient and scalable rearrangement planning method, based on a Monte-Carlo Tree Search exploration strategy. We demonstrate that because of its good trade-off between exploration and exploitation our method (i) scales well with the number of objects while (ii) finding solutions which require a smaller number of moves compared to the other state-of-the-art approaches. Note that on the contrary to many approaches, we do not require any buffer space to be available. Second, to precisely localize movable objects in the scene, we develop an integrated approach for robust multi-object workspace state estimation from a single uncalibrated RGB camera using a deep neural network trained only with synthetic data. We validate our multi-object visually guided manipulation pipeline with several experiments on a real UR-5 robotic arm by solving various rearrangement planning instances, requiring only 60 ms to compute the plan to rearrange 25 objects. In addition, we show that our system is insensitive to camera movements and can successfully recover from external perturbations. Supplementary video, source code and pre-trained models are available at https://ylabbe.github.io/rearrangement-planning.

研究动机与目标

• 在未校准设置中推动对大量可移动对象的自主视觉引导重排。
• 开发可扩展的规划方法，处理无缓冲区的非单调多对象重排。
• 通过领域随机化完全用合成数据训练的鲁棒视觉状态预测系统。
• 展示在真实机器人中的可行性，具备快速规划以及对相机移动和干扰的鲁棒性。

提出的方法

• 引入用于重排的离散动作参数化以启用 MCTS。
• 使用基于到达目标位置对象数量的奖励的蒙特卡洛树搜索来引导规划。
• 将 MCTS 与基于标准 RRT 的局部运动规划器结合用于执行。
• 开发一个无标定的视觉状态估计器，从单张未标定的 RGB 图像预测多对象的二维机器人坐标位置。
• 使用带有领域随机化的合成数据训练一个多对象检测器，包括对象掩模和密集的二维位置场，而无需对象 CAD 模型或标记。

实验结果

研究问题

• RQ1 基于 MCTS 的规划器能在没有显式缓冲区空间的情况下高效解决可视化引导的多对象重排吗？
• RQ2 无标定视觉状态估计器在单张 RGB 图像中定位并识别多个未知对象并将其映射到机器人坐标的能力如何？
• RQ3 集成管线是否可扩展到大量对象并在真实机器人上实现实时运行？
• RQ4 在执行期间系统对相机移动和外部扰动的鲁棒性如何？

主要发现

• 在100000次迭代限制下，MCTS 可扩展至 37 个对象，成功率为 80%，而基线在超过约 33 个对象后就困难。
• 规划器移动的对象数量显著少于基线（例如，对于 30 个对象，MCTS 移动 40 次，而基线为 60 次）。
• 在只有一个 CPU 核的笔记本电脑上，MCTS 能在 60 ms 内为 25 个对象找到计划，从而在每次移动后实现在线重新规划。
• 视觉状态估计器对单个对象的定位精度达到 1.1 cm，并在多达 10 个对象时维持类似精度，在测试至多 10 个对象时实现近 100% 的抓取成功率。
• 完整管线在 UR-5 平台上成功完成真实机器人重排，解决了多种实例并对扰动具备恢复能力。