[论文解读] Learning compositional models of robot skills for task and motion planning

Zi Wang, Caelan Reed Garrett+2 more|arXiv (Cornell University)|Jun 8, 2020

Robot Manipulation and Learning参考文献 53被引用 8

一句话总结

本文提出了一种框架，通过主动学习与高斯过程学习机器人技能的组合模型，以实现灵活且可泛化的任务与运动规划。通过从少量真实世界演示中建模技能的先决条件和效果，并将其与连续空间规划器集成，该系统在多样化的真实世界与仿真环境中实现了对复杂、长时程操作任务（如制作咖啡）的鲁棒执行。

ABSTRACT

The objective of this work is to augment the basic abilities of a robot by learning to use sensorimotor primitives to solve complex long-horizon manipulation problems. This requires flexible generative planning that can combine primitive abilities in novel combinations and thus generalize across a wide variety of problems. In order to plan with primitive actions, we must have models of the actions: under what circumstances will executing this primitive successfully achieve some particular effect in the world? We use, and develop novel improvements on, state-of-the-art methods for active learning and sampling. We use Gaussian process methods for learning the constraints on skill effectiveness from small numbers of expensive-to-collect training examples. Additionally, we develop efficient adaptive sampling methods for generating a comprehensive and diverse sequence of continuous candidate control parameter values (such as pouring waypoints for a cup) during planning. These values become end-effector goals for traditional motion planners that then solve for a full robot motion that performs the skill. By using learning and planning methods in conjunction, we take advantage of the strengths of each and plan for a wide variety of complex dynamic manipulation tasks. We demonstrate our approach in an integrated system, combining traditional robotics primitives with our newly learned models using an efficient robot task and motion planner. We evaluate our approach both in simulation and in the real world through measuring the quality of the selected primitive actions. Finally, we apply our integrated system to a variety of long-horizon simulated and real-world manipulation problems.

研究动机与目标

• 从少量真实世界试验中高效学习新传感器运动技能，最小化数据收集成本。
• 开发能够将技能的先决条件与效果表示为连续控制参数的概率函数的模型。
• 将学习到的技能模型集成到任务与运动规划框架中，以组合出新颖且有效的动作序列。
• 在无需高保真仿真环境的情况下，确保对环境变化（如物体排列与遮挡）的鲁棒性。
• 通过在统一规划流程中结合学习到的技能与现有机器人原语，实现对多样化任务实例的泛化能力。

提出的方法

• 使用高斯过程回归建模技能成功概率作为连续控制参数（如倒液路径点）的函数，训练数据为少量昂贵获取的真实世界演示。
• 实施主动学习并采用自适应采样策略——diverse-lk 与 diverse-gk，通过平衡探索与利用来优化规划成功率。
• 应用折扣规划奖励度量 $ J_k( heta) = \textstyle\textstyle\sum_{n=1}^\infty s(\theta,n)\gamma^n $ 评估采样器性能，其中 $ s(\theta,n) $ 表示第 $ n $ 个样本是否对规划生成有贡献。
• 将学习到的技能模型集成到基于 PDDL Stream 的规划器中，该规划器结合了离散任务规划与连续参数优化。
• 使用运动规划器从由学习到的技能模型生成的末端执行器目标采样中生成无碰撞的机器人轨迹。
• 利用基于核函数的自适应采样，根据观测到的多样性与规划反馈动态调整探索策略，提升向有效控制策略的收敛速度。

实验结果

研究问题

• RQ1 如何在仅依赖少量真实世界试验的情况下高效学习机器人技能，同时捕捉有效控制参数值的完整范围？
• RQ2 何种采样策略能够最有效地探索复杂环境中技能执行的连续控制参数？
• RQ3 学习到的技能模型能否与现有机器人原语组合，以在多样化且受扰动的环境中解决长时程、高层级的操作任务？
• RQ4 与均匀采样或固定采样策略相比，自适应的、以多样性为导向的采样策略在规划成功率与样本效率方面表现如何？
• RQ5 在不依赖高保真仿真环境的前提下，真实世界机器人在多大程度上能泛化到新型物体排列？

主要发现

• 在所有评估任务中，包括推动物体、倒液以及复杂的制作咖啡场景，diverse-lk 采样策略均实现了更高的规划奖励与更低的方差，优于基线方法。
• 在任务 I（从桌上推动物体）中，diverse-lk 在几次迭代后收敛至最优采样策略（左右侧采样），优于固定核基线方法。
• 在任务 II（杯子靠近墙壁的倒液）中，即使在复杂障碍物配置下，diverse-lk 仍实现了稳定的成功率且方差低于其他采样器。
• 在任务 III（需精确抓取的杯架中放置杯子）中，diverse-lk 展现出对高维约束的鲁棒性，证明了该方法处理复杂先决条件的能力。
• 集成系统在不同物体排列下均于 20–40 秒内完成制作咖啡任务，展示了在仿真与真实世界执行中均具备实时可行性与泛化能力。
• 系统在无需重新训练的情况下成功应对了显著的物体扰动，证实了所学模型对环境变化的鲁棒性。