[论文解读] Integrating Task-Motion Planning with Reinforcement Learning for Robust Decision Making in Mobile Robots

Yuqian Jiang, Fangkai Yang+2 more|arXiv (Cornell University)|Nov 21, 2018

Robotic Path Planning Algorithms参考文献 27被引用 10

一句话总结

本文提出TMP-RL框架，将任务-运动规划（TMP）与强化学习（RL）相结合，以实现移动机器人在不确定、动态环境中的鲁棒、自适应决策。通过结合迭代式TMP以生成低成本、可行的计划，以及基于真实执行经验优化计划的无模型RL，TMP-RL相较于纯TMP或任务规划与RL结合（TP-RL）方法，实现了更快的收敛速度和更高的鲁棒性，同时支持跨任务的知识迁移。

ABSTRACT

Task-motion planning (TMP) addresses the problem of efficiently generating executable and low-cost task plans in a discrete space such that the (initially unknown) action costs are determined by motion plans in a corresponding continuous space. However, a task-motion plan can be sensitive to unexpected domain uncertainty and changes, leading to suboptimal behaviors or execution failures. In this paper, we propose a novel framework, TMP-RL, which is an integration of TMP and reinforcement learning (RL) from the execution experience, to solve the problem of robust task-motion planning in dynamic and uncertain domains. TMP-RL features two nested planning-learning loops. In the inner TMP loop, the robot generates a low-cost, feasible task-motion plan by iteratively planning in the discrete space and updating relevant action costs evaluated by the motion planner in continuous space. In the outer loop, the plan is executed, and the robot learns from the execution experience via model-free RL, to further improve its task-motion plans. RL in the outer loop is more accurate to the current domain but also more expensive, and using less costly task and motion planning leads to a jump-start for learning in the real world. Our approach is evaluated on a mobile service robot conducting navigation tasks in an office area. Results show that TMP-RL approach significantly improves adaptability and robustness (in comparison to TMP methods) and leads to rapid convergence (in comparison to task planning (TP)-RL methods). We also show that TMP-RL can reuse learned values to smoothly adapt to new scenarios during long-term deployments.

研究动机与目标

• 解决传统任务-运动规划（TMP）在机器人执行过程中应对领域不确定性与动态变化时的局限性。
• 通过利用运动规划对初始计划质量进行评估，降低纯强化学习（RL）在真实世界机器人部署中的样本复杂度与风险。
• 通过复用不同起始位置和场景下的学习值，实现长期适应性，提升移动机器人导航任务中的泛化能力。
• 通过闭环集成TMP与RL，提升机器人在不确定真实环境中的决策鲁棒性与收敛速度。

提出的方法

• 该框架采用两个嵌套的规划-学习循环：内层TMP循环通过运动规划器反馈，迭代优化任务计划，以在连续空间中评估动作成本。
• 外层RL循环执行计划并基于真实世界经验使用无模型强化学习，以提升计划质量并适应领域不确定性。
• 基于运动规划器的评估结果更新离散任务空间中的动作成本，确保仅提出可行且低成本的计划用于执行与学习。
• 该方法采用一种可随时返回最优解的算法（PETLON），在时间约束内逐步提升计划质量，若未找到更优解则返回当前最佳计划。
• 先前任务中学习到的Q值被复用于新且相似的场景，加速学习过程，实现不同起始位置之间的知识迁移。
• 系统利用符号规划（如答案集编程）进行高层任务规划，利用运动规划（如RRT）生成连续轨迹。

实验结果

研究问题

• RQ1 将任务-运动规划与强化学习结合，是否能提升移动机器人在领域不确定性下的决策鲁棒性与适应性？
• RQ2 与纯TMP和TP-RL相比，所提出的TMP-RL框架在学习收敛速度与执行稳定性方面表现如何？
• RQ3 从一个任务中学到的值在多大程度上可被迁移，以加速在具有不同起始位置的新相关任务中的学习？
• RQ4 利用运动规划对计划质量进行预评估，是否能减少强化学习训练过程中高成本且可能失败的执行次数？

主要发现

• 与传统TMP方法相比，TMP-RL显著提升了鲁棒性与适应性，后者对环境中的意外变化较为敏感。
• TMP-RL的收敛速度优于TP-RL，因其初始即具备高质量、可行的计划，减少了对广泛探索的需求。
• TMP-RL与TMP的执行奖励方差低于TP-RL，表明其性能更稳定，得益于计划质量的预评估。
• TP-RL因缺乏初始计划质量过滤，导致更高的方差并探索大量次优计划，增加了真实部署中的风险与成本。
• 学习首个任务后，后续任务的学习速度更快、方差更低，表明学习到的rho值可在不同起始位置间有效迁移。
• 由于底层求解器具备“随时返回”特性，即使运动规划在时间限制内未能找到更优计划，该框架仍能保持高性能。