[论文解读] Hierarchical Policy for Non-prehensile Multi-object Rearrangement with Deep Reinforcement Learning and Monte Carlo Tree Search

Fan Bai, Fei Meng+3 more|arXiv (Cornell University)|Sep 18, 2021

Robot Manipulation and Learning参考文献 25被引用 6

一句话总结

本文提出了一种分层深度强化学习框架，结合蒙特卡洛树搜索（MCTS）与路径基元，用于非抓取式多目标重排任务。高层策略利用通过模仿学习与策略梯度联合训练的策略网络引导MCTS，以确定最优物体移动顺序；低层策略则通过执行路径基元高效地移动物体。该方法在成功率、步数与路径效率方面均优于当前最先进基线，取得80.0%的成功率、31.90的平均步数以及54.50的平均回报。

ABSTRACT

Non-prehensile multi-object rearrangement is a robotic task of planning feasible paths and transferring multiple objects to their predefined target poses without grasping. It needs to consider how each object reaches the target and the order of object movement, which significantly deepens the complexity of the problem. To address these challenges, we propose a hierarchical policy to divide and conquer for non-prehensile multi-object rearrangement. In the high-level policy, guided by a designed policy network, the Monte Carlo Tree Search efficiently searches for the optimal rearrangement sequence among multiple objects, which benefits from imitation and reinforcement. In the low-level policy, the robot plans the paths according to the order of path primitives and manipulates the objects to approach the goal poses one by one. We verify through experiments that the proposed method can achieve a higher success rate, fewer steps, and shorter path length compared with the state-of-the-art.

研究动机与目标

• 为解决非抓取式多目标重排这一NP难问题，其中路径规划与动作序列排序均至关重要。
• 通过将问题分解为高层序列规划与低层路径执行，降低多目标操作中长时程决策的复杂度。
• 通过融合专家模仿与策略梯度训练，提升强化学习中的样本效率与收敛速度。
• 通过使用学习到的策略网络引导树扩展与仿真，提升MCTS在长时程决策任务中的搜索效率与长期规划能力。

提出的方法

• 高层策略使用蒙特卡洛树搜索（MCTS）探索最优重排序列，由通过模仿学习与PPO联合训练的深度策略网络引导。
• 策略网络通过专家示范进行预训练，并利用近端策略优化（PPO）进行微调，以提升长时程决策能力。
• 低层策略执行预定义的路径基元——能够将物体稳定推送到目标位姿而不需抓取的序列动作。
• 路径基元通过减少动作空间的深度与宽度，使低层控制比单步离散动作更快速、更可靠。
• 分层框架将高层规划（应以何种顺序移动物体）与低层执行（如何移动每个物体）解耦，提升可扩展性。
• MCTS通过策略网络加速，该网络在树扩展与仿真过程中优先选择有希望的动作，从而减少搜索时间并提升收敛性。

实验结果

研究问题

• RQ1 结合MCTS与深度强化学习的分层策略能否有效解决非抓取式多目标重排问题，并在成功率与效率方面实现提升？
• RQ2 将模仿学习与强化学习结合，如何提升高层策略网络的样本效率与收敛速度？
• RQ3 路径基元在多大程度上降低了低层控制的复杂度，并提升了物体操作的稳定性？
• RQ4 将学习到的策略网络集成到MCTS中，如何提升其在长时程决策任务中的性能表现？
• RQ5 与现有MCTS及强化学习基线相比，该方法在物体数量增加时的可扩展性如何？

主要发现

• 所提方法在相同基准测试中取得80.0%的成功率，显著优于MCTS+DQN（65.0%）与MCTS+Random（45.0%）。
• 平均步数降低至31.90，相比纯强化学习（47.27步）减少了16.14步。
• 该方法获得最高的平均回报54.50，超过MCTS+PPO（13.78）与MCTS+DQN（41.20）。
• 随着物体数量增加，该方法保持最短的平均动作序列长度与最集中的分布，表明其具备更优的可扩展性与鲁棒性。
• 在3,000轮模仿学习时性能最佳；模仿程度过高或过低均会降低强化学习效果，表明存在关键的最优平衡点。
• 在所有测试物体数量下，该方法在路径长度与步数方面均表现出一致优势，证实其在复杂高维环境中的有效性。