[论文解读] Active model learning and diverse action sampling for task and motion planning

Zi Wang, Caelan Reed Garrett+2 more|arXiv (Cornell University)|Mar 2, 2018

Gaussian Processes and Bayesian Inference参考文献 24被引用 5

一句话总结

本文提出了一种主动模型学习与多样化动作采样框架，通过使用高斯过程回归在极少的真实世界试验下建模动作可行性，使机器人能够高效学习感知运动基元（如倒水和搅拌）。该方法将自适应采样与连续空间的任务与运动规划相结合，在长时序任务中显著提升了规划效率与成功率，优于基线方法。

ABSTRACT

The objective of this work is to augment the basic abilities of a robot by learning to use new sensorimotor primitives to enable the solution of complex long-horizon problems. Solving long-horizon problems in complex domains requires flexible generative planning that can combine primitive abilities in novel combinations to solve problems as they arise in the world. In order to plan to combine primitive actions, we must have models of the preconditions and effects of those actions: under what circumstances will executing this primitive achieve some particular effect in the world? We use, and develop novel improvements on, state-of-the-art methods for active learning and sampling. We use Gaussian process methods for learning the conditions of operator effectiveness from small numbers of expensive training examples collected by experimentation on a robot. We develop adaptive sampling methods for generating diverse elements of continuous sets (such as robot configurations and object poses) during planning for solving a new task, so that planning is as efficient as possible. We demonstrate these methods in an integrated system, combining newly learned models with an efficient continuous-space robot task and motion planner to learn to solve long horizon problems more efficiently than was previously possible.

研究动机与目标

• 通过最小化昂贵的真实世界试验，使机器人能够高效学习新的感知运动基元。
• 使用主动学习与高斯过程建模基元动作的先决条件与效果。
• 生成多样化、高覆盖率的动作样本，以提升在复杂、高维环境中的规划成功率。
• 将学习到的模型集成到连续空间的任务与运动规划器中，以解决长时序任务。
• 在模拟的机器人操作任务中，展示规划效率与鲁棒性的提升。

提出的方法

• 使用高斯过程回归建模一个评分函数，以预测给定动作配置的成功概率。
• 采用主动学习选择最具信息量的动作配置进行训练，从而最小化真实世界试验次数。
• 开发自适应采样策略，生成在上下文参数条件下多样化且可行的动作实例。
• 引入条件采样器，以尊重降维约束（例如机器人与物体位姿之间的函数关系）。
• 利用高斯过程的不确定性估计，指导学习阶段的信息收集与规划阶段的成功概率估计。
• 将学习到的模型集成到 STRIPStream 规划器中，实现连续空间的任务与运动规划。

实验结果

研究问题

• RQ1 如何最小化学习感知运动基元可行性所需的真实世界试验次数？
• RQ2 如何生成多样化但有效的动作样本，以覆盖高维配置空间中的可行动作区域？
• RQ3 在长时序规划中，是否平衡成功概率与多样性的自适应采样策略优于均匀或随机采样？
• RQ4 主动学习结合高斯过程在机器人操作任务中如何提升模型准确率与规划效率？
• RQ5 学习到的基元先决条件与效果模型在多大程度上能够实现复杂真实场景下的鲁棒、通用规划？

主要发现

• 在任务 I 的 1000 种障碍物布局中，diverse-lk 采样方法的规划奖励高于 diverse-gk 与基线方法，95% 置信区间显示其改进具有一致性。
• 在任务 II（靠近墙壁倒水）中，diverse-lk 在规划成功率上优于其他方法，且训练后方差更低，表明其具有更高的稳定性。
• 在任务 III（从支架中抓取杯子）中，尽管复杂度增加，diverse-lk 仍表现出更优性能，规划成功率优于其他采样策略。
• 任务 II 与 III 的学习曲线显示出明显的转折点，可能由于核长度尺度的高惩罚项及测试集大小有限（50 项任务），表明对超参数调优较为敏感。
• 集成系统成功完成了一项涉及 7 个预存操作及两个新学习基元（倒、舀）的复杂咖啡服务任务，耗时 20–40 秒，适用于多种物体布局。
• 系统在显著物体扰动下仍表现出稳健性，展示了在类真实世界条件下的泛化能力与适应性。