[论文解读] Hierarchical Haptic Manipulation for Complex Skill Learning

Simon Hangl, Emre Uğur+2 more|arXiv (Cornell University)|Mar 2, 2016

Robot Manipulation and Learning参考文献 21被引用 3

一句话总结

本文提出了一种分层触觉操作框架，通过自主技能执行和可重用基础技能实现复杂技能的学习。通过利用技能层级将新环境转化为已知状态，该方法在极少监督的情况下实现了复杂双臂操作任务的泛化，且无需强环境假设。

ABSTRACT

In complex manipulation scenarios (e.g. tasks requiring complex interaction of two hands or in-hand manipulation), generaliza- tion is a hard problem. Current methods still either require a substantial amount of (supervised) training data and / or strong assumptions on both the environment and the task. In this paradigm, controllers solving these tasks tend to be complex. We propose a paradigm of maintaining simpler controllers solving the task in a small number of specific situations. In order to generalize to novel situations, the robot transforms the environment from novel situations to a situation where the solution of the task is already known. Our solution to this problem is to play with objects and use previously trained skills (basis skills). These skills can either be used for estimating or for changing the current state of the environment and are organized in skill hierarchies. The approach is evaluated in complex pick-and-place scenarios that involve complex manipulation. We further show that these skills can be learned by autonomous playing.

研究动机与目标

• 解决需要多臂协调或物体在手操作的复杂操作任务中的泛化挑战。
• 减少对大规模监督数据集以及对环境或任务结构的强假设的依赖。
• 通过使用学习到的基础技能将新情境转化为已知状态，使机器人能够泛化到新情况。
• 开发一种可扩展的分层控制框架，以组织技能实现高效的任务执行。
• 证明基础技能可通过自我监督的探索与玩耍过程自主获得。

提出的方法

• 该方法将先前训练好的基础技能组织成分层结构，以实现在复杂任务中的可组合性。
• 机器人利用这些基础技能来估计或主动改变环境的当前状态。
• 通过将新情境中的环境转化为可应用已知技能的状态来处理新情况。
• 系统利用触觉反馈在操作过程中指导技能选择和状态转换。
• 技能通过自我监督的探索与物体互动而自主学习。
• 该层级结构实现了模块化控制，高层决策根据环境状态选择合适的低层技能。

实验结果

研究问题

• RQ1 机器人如何在无需大量微调的情况下，将复杂操作技能泛化到新环境中？
• RQ2 基础技能是否可通过自我监督的玩耍过程自主学习？
• RQ3 分层技能组织在实现双臂操作任务泛化方面有多高效？
• RQ4 通过技能应用实现的环境转换在复杂场景中能在多大程度上提升任务成功率？
• RQ5 触觉反馈在实现鲁棒状态估计和技能选择方面起到什么作用？

主要发现

• 分层触觉操作框架在无需额外监督数据的情况下成功泛化到新操作场景。
• 自主玩耍使可重用的基础技能得以获取，且在复杂抓取与放置任务中表现有效。
• 通过将新状态转化为已知且可解的配置，该方法在双臂操作中实现了可靠的任务执行。
• 使用技能层级在保持多样化环境中性能的同时降低了控制器的复杂度。
• 触觉反馈增强了状态估计能力，并在任务执行过程中实现了精确的技能选择。
• 该方法在传统方法因缺乏泛化能力而失效的复杂场景中表现出鲁棒性。