[论文解读] Multi-Object Rearrangement with Monte Carlo Tree Search:A Case Study on Planar Nonprehensile Sorting

Haoran Song, Joshua A. Haustein+5 more|arXiv (Cornell University)|Dec 15, 2019

Robotic Path Planning Algorithms参考文献 34被引用 11

一句话总结

该论文提出了一种基于蒙特卡洛树搜索（MCTS）的方法，结合任务特定的启发式函数与学习的 rollout 策略，用于平面非抓取式多物体排序任务，即机器人通过推动将多个物体排列至类别分离的簇中。该方法在仿真环境和真实机器人上均实现了高成功率，即使在存在建模不确定性与边界约束的情况下也表现出鲁棒性和可扩展性，适用于凸形、非凸形及含障碍物的配置。

ABSTRACT

In this work, we address a planar non-prehensile sorting task. Here, a robot needs to push many densely packed objects belonging to different classes into a configuration where these classes are clearly separated from each other. To achieve this, we propose to employ Monte Carlo tree search equipped with a task-specific heuristic function. We evaluate the algorithm on various simulated and real-world sorting tasks. We observe that the algorithm is capable to reliably sort large numbers of convex and non-convex objects, as well as convex objects in the presence of immovable obstacles.

研究动机与目标

• 解决大规模、非单调、多物体平面非抓取重排问题，其中物体需被归类至特定簇中。
• 开发一种规划框架，能够处理复杂的多接触动力学与高维状态空间，且无需显式的目标状态。
• 通过在MCTS中集成启发式奖励函数与学习的rollout策略，提升样本效率与排序任务的成功率。
• 在建模不准确与真实硬件约束（尤其是工作空间边界附近）条件下评估该方法的性能。
• 展示该方法在不同物体数量、类别数、形状（凸形与非凸形）以及障碍物配置下的可扩展性。

提出的方法

• 该方法采用蒙特卡洛树搜索（MCTS）通过前向仿真探索高维状态空间，避免了对显式价值函数或目标状态的依赖。
• 引入一种任务特定的启发式奖励函数，通过评估物体簇的紧凑性与分离度，引导MCTS向有序配置收敛。
• 从规划经验中训练一个学习的rollout策略，以提升样本效率并减少所需的rollout次数。
• 使用基于物理的仿真来建模多物体推动动力学，包括复杂的接触相互作用与物体碰撞。
• 算法采用自适应迭代调度策略，根据任务复杂度动态调整MCTS的迭代次数。
• 规划器实现并行化，并部署于真实 ABB Yumi 机器人上，采用闭环执行以校正现实世界中的不确定性。

实验结果

研究问题

• RQ1 结合启发式奖励函数的MCTS能否有效解决具有密集物体堆积与多接触动力学的大规模平面非抓取排序任务？
• RQ2 在该排序场景中，学习的rollout策略如何提升MCTS的性能与样本效率？
• RQ3 该MCTS规划器在仿真与真实部署中对摩擦系数等物理参数的建模误差有多强的鲁棒性？
• RQ4 工作空间边界与物体靠近边缘的情况对规划器在真实执行中成功率有何影响？
• RQ5 该方法能否在无障碍物与含障碍物环境中，对不同数量的物体、类别数以及复杂形状（凸形与非凸形）实现可扩展性？

主要发现

• 在包含20–30个物体、2–4种类别的排序任务中，MCTS规划器在仿真中实现了95.2%的平均成功率，即使在严重建模噪声（摩擦系数方差达75%）下依然表现稳定。
• 引入学习的rollout策略后，与随机策略相比，规划器平均动作数减少了15–20%，尤其在复杂配置下优势明显。
• 在 ABB Yumi 机器人上的真实世界实验中，规划器在仿真中达到96%的成功率，在3×5立方体排序任务中实现80%的成功率（15/20次试验），动作数略有增加，主要由于现实世界中的不确定性。
• 算法在100%的试验中成功排序了30个非凸形物体，在含固定障碍物的环境中对30个凸形物体排序的成功率为97%，表明对形状与环境复杂性的强鲁棒性。
• 与固定迭代次数相比，动态迭代调度策略在高复杂度场景中将成功率提升了最高达10%。
• 真实世界执行中的失败案例主要源于物体被推出边界，凸显了边界的脆弱性，但闭环执行有效补偿了内部建模误差。