[论文解读] Learning real manipulation tasks from virtual demonstrations using LSTM

Rouhollah Rahmatizadeh, Pooya Abolghasemi+2 more|arXiv (Cornell University)|Mar 12, 2016

Robot Manipulation and Learning参考文献 19被引用 28

一句话总结

本文提出通过基于LSTM的网络结合混合密度网络（MDN）损失函数，利用虚拟演示训练机器人控制器，以实现在真实机器人上的迁移。该方法在Baxter机器人上成功执行了复杂的操作任务，优于前馈网络，并能从不完美的演示中学习以纠正错误。

ABSTRACT

Robots assisting the disabled or elderly must perform complex manipulation tasks and must adapt to the home environment and preferences of their user. Learning from demonstration is a promising choice, that would allow the non-technical user to teach the robot different tasks. However, collecting demonstrations in the home environment of a disabled user is time consuming, disruptive to the comfort of the user, and presents safety challenges. It would be desirable to perform the demonstrations in a virtual environment. In this paper we describe a solution to the challenging problem of behavior transfer from virtual demonstration to a physical robot. The virtual demonstrations are used to train a deep neural network based controller, which is using a Long Short Term Memory (LSTM) recurrent neural network to generate trajectories. The training process uses a Mixture Density Network (MDN) to calculate an error signal suitable for the multimodal nature of demonstrations. The controller learned in the virtual environment is transferred to a physical robot (a Rethink Robotics Baxter). An off-the-shelf vision component is used to substitute for geometric knowledge available in the simulation and an inverse kinematics module is used to allow the Baxter to enact the trajectory. Our experimental studies validate the three contributions of the paper: (1) the controller learned from virtual demonstrations can be used to successfully perform the manipulation tasks on a physical robot, (2) the LSTM+MDN architectural choice outperforms other choices, such as the use of feedforward networks and mean-squared error based training signals and (3) allowing imperfect demonstrations in the training set also allows the controller to learn how to correct its manipulation mistakes.

研究动机与目标

• 让非技术用户能够在安全、非干扰的环境中，通过虚拟演示教授机器人执行复杂的操作任务。
• 解决在模拟环境中学习的策略向具有真实世界动力学和传感器限制的物理机器人迁移的挑战。
• 开发一种能够处理多模态、不完美演示并从任务执行过程中的错误中学习的控制器。
• 评估LSTM结合MDN损失函数相较于标准前馈网络和均方误差训练的有效性。

提出的方法

• 在模拟环境中收集操作任务的虚拟演示，用于训练深度神经网络控制器。
• 使用长短期记忆（LSTM）循环网络来建模演示轨迹中的时间依赖性。
• 通过混合密度网络（MDN）计算概率误差信号，以处理人类演示的多模态特性。
• 训练后的控制器生成轨迹，并通过逆运动学模块映射为关节角，以实现物理执行。
• 使用现成的视觉系统替代模拟中的几何知识，实现真实世界的感知。
• 在物理平台上无需重新训练，直接将策略迁移到Rethink Robotics的Baxter机器人上。

实验结果

研究问题

• RQ1 在虚拟演示上训练的控制器是否能成功在物理机器人上执行操作任务？
• RQ2 与使用均方误差损失训练的前馈网络相比，LSTM+MDN架构在从演示中学习策略时是否表现更优？
• RQ3 当使用不完美的演示进行训练时，控制器是否能学会纠正错误？
• RQ4 通过视觉和逆运动学技术，该系统在从模拟到现实的泛化能力如何？

主要发现

• 在虚拟演示上训练的控制器成功在物理Baxter机器人上执行了操作任务，证明了策略迁移的有效性。
• LSTM+MDN架构显著优于使用均方误差损失训练的前馈网络，尤其在处理多模态演示数据方面表现更优。
• 当使用不完美演示进行训练时，系统能够学会纠正操作错误，增强了对现实世界变化的鲁棒性。
• 使用现成的视觉系统和逆运动学方法，实现了在物理机器人上的功能性执行，而无需依赖高保真的模拟精度。