[论文解读] Learning Manipulation States and Actions for Efficient Non-prehensile Rearrangement Planning

Joshua A. Haustein, Isac Arnekvist+3 more|arXiv (Cornell University)|Jan 11, 2019

Robotic Path Planning Algorithms参考文献 45被引用 9

一句话总结

该论文提出了一种基于物理、采样高效的非抓取重排规划方法，结合强化学习与生成建模，使机器人能够使用身体任意部位同时推动多个物体。通过训练基于生成对抗网络（GAN）的生成器，从可行推动的机器人状态中采样，并结合一步策略网络输出动作，该方法在SE(2)构型机器人上的规划时间相比最先进方法提升了2倍以上。

ABSTRACT

This paper addresses non-prehensile rearrangement planning problems where a robot is tasked to rearrange objects among obstacles on a planar surface. We present an efficient planning algorithm that is designed to impose few assumptions on the robot's non-prehensile manipulation abilities and is simple to adapt to different robot embodiments. For this, we combine sampling-based motion planning with reinforcement learning and generative modeling. Our algorithm explores the composite configuration space of objects and robot as a search over robot actions, forward simulated in a physics model. This search is guided by a generative model that provides robot states from which an object can be transported towards a desired state, and a learned policy that provides corresponding robot actions. As an efficient generative model, we apply Generative Adversarial Networks. We implement and evaluate our approach for robots endowed with configuration spaces in SE(2). We demonstrate empirically the efficacy of our algorithm design choices and observe more than 2x speedup in planning time on various test scenarios compared to a state-of-the-art approach.

研究动机与目标

• 为解决在杂乱环境中高效进行非抓取重排规划的挑战，且不依赖手工设计的操纵原语。
• 使机器人能够使用身体任意部位而非仅末端执行器，同时推动多个物体。
• 通过学习引导减少规划时间，并提升对不同机器人构型和物体类型的适应能力。
• 通过物体排列切片结构化搜索空间，实现机器人运动与物体重排的解耦。
• 开发一种可扩展、泛化能力强的规划框架，避免对机器人操作能力施加严格假设。

提出的方法

• 该规划器使用基于物理的前向仿真来建模机器人动作及其结果，包括非预期接触和物体间相互作用。
• 根据物体排列将配置空间划分为切片，实现高效搜索与邻居选择，以支持树扩展。
• 训练生成对抗网络（GAN）以生成可成功将目标物体推向期望状态的机器人状态。
• 训练一步策略网络，从生成的状态输出推动动作，实现在操作过程中的精确控制。
• 将这些学习得到的组件与采样式运动规划（如RRT类树扩展）结合，以探索复合配置空间。
• 该方法在SE(2)构型空间的机器人上实现并评估，使用均匀随机采样进行数据收集。

实验结果

研究问题

• RQ1 基于学习的方法是否能在不依赖手工设计操纵原语的前提下，减少非抓取重排任务的规划时间？
• RQ2 基于GAN的生成器在生成可实现多种物体构型下可行推动动作的机器人状态方面效果如何？
• RQ3 集成学习策略在提升基于物理的重排规划效率与鲁棒性方面有多大作用？
• RQ4 该规划器是否能无需对机器人运动学特性做先验假设，高效处理多物体推动与复杂物体排列？
• RQ5 与均匀采样相比，基于切片的搜索结构在规划速度与解质量方面表现如何？

主要发现

• 所提方法在各种测试场景下，相比最先进基于物理的规划器，规划时间提升超过2倍。
• 基于GAN的生成器成功学习到从可行推动的机器人状态中采样，从而实现更快收敛。
• 一步策略可实现可靠的推动动作，有效减小与目标状态的距离，但精确方向控制仍具挑战。
• 基于切片的搜索结构通过解耦机器人运动与物体重排，提升了规划效率，并支持更优的邻居选择。
• 该方法可轻松适配不同机器人构型与物体类型，因策略与生成器可通过新物理参数重新训练。
• 初步实验表明，为过渡动作添加局部避碰规划器会降低性能，表明复杂性与效率之间存在权衡。