[论文解读] From virtual demonstration to real-world manipulation using LSTM and MDN

Rouhollah Rahmatizadeh, Pooya Abolghasemi+2 more|arXiv (Cornell University)|Mar 12, 2016

Robot Manipulation and Learning被引用 18

一句话总结

本文提出一种方法，通过使用基于LSTM的控制器并结合混合密度网络（MDN）进行训练，将虚拟演示中的操作技能迁移至物理机器人。该方法能够处理多模态、不完美的真人演示，并使机器人具备从错误中自我纠正的能力。尽管存在仿真到现实的领域差异，该方法仍成功实现在Rethink Robotics Baxter机器人上的任务执行，且LSTM+MDN的性能优于前馈网络和基于MSE的训练方法。

ABSTRACT

Robots assisting the disabled or elderly must perform complex manipulation tasks and must adapt to the home environment and preferences of their user. Learning from demonstration is a promising choice, that would allow the non-technical user to teach the robot different tasks. However, collecting demonstrations in the home environment of a disabled user is time consuming, disruptive to the comfort of the user, and presents safety challenges. It would be desirable to perform the demonstrations in a virtual environment. In this paper we describe a solution to the challenging problem of behavior transfer from virtual demonstration to a physical robot. The virtual demonstrations are used to train a deep neural network based controller, which is using a Long Short Term Memory (LSTM) recurrent neural network to generate trajectories. The training process uses a Mixture Density Network (MDN) to calculate an error signal suitable for the multimodal nature of demonstrations. The controller learned in the virtual environment is transferred to a physical robot (a Rethink Robotics Baxter). An off-the-shelf vision component is used to substitute for geometric knowledge available in the simulation and an inverse kinematics module is used to allow the Baxter to enact the trajectory. Our experimental studies validate the three contributions of the paper: (1) the controller learned from virtual demonstrations can be used to successfully perform the manipulation tasks on a physical robot, (2) the LSTM+MDN architectural choice outperforms other choices, such as the use of feedforward networks and mean-squared error based training signals and (3) allowing imperfect demonstrations in the training set also allows the controller to learn how to correct its manipulation mistakes.

研究动机与目标

• 使辅助机器人能够从非技术用户处学习复杂操作任务，而无需在真实环境中进行物理演示。
• 解决为残障或老年用户收集物理演示所面临的安全部、耗时和不适等问题。
• 开发一种方法，即使存在领域偏移和不完美演示，也能将仿真环境中训练的策略迁移到真实机器人上。
• 探究不完美、易出错的人类演示是否能提升机器人在真实执行中自我纠正的能力。

提出的方法

• 在仿真环境中收集人类用户对抓取-放置和推送到目标姿态任务的虚拟演示。
• 使用长短期记忆（LSTM）循环网络训练深度神经网络控制器，以建模轨迹中的时间依赖性。
• 采用混合密度网络（MDN）作为输出头，以建模多模态动作分布，使网络能够学习多样化和复杂的行为。
• 训练使用基于MDN似然的损失函数，以更好地捕捉演示动作的分布，特别是在存在多种有效策略的情况下。
• 通过现成的基于Kinect的视觉系统实现物体跟踪，并结合逆运动学模块执行轨迹，将训练好的控制器迁移到物理的Rethink Robotics Baxter机器人上。
• 在训练数据中包含不完美的演示，如抓取失败、物体掉落以及过度或不足的推动，以教会机器人进行错误恢复和自我纠正。

实验结果

研究问题

• RQ1 在虚拟演示上训练的控制器是否能在物理机器人上成功执行操作任务？
• RQ2 在控制器架构中使用LSTM和MDN是否比使用前馈网络和均方误差损失具有更好的性能？
• RQ3 包含错误和纠正动作的不完美人类演示是否能提升机器人在真实世界中的自我纠正能力？
• RQ4 从仿真到现实的迁移过程中，控制器性能如何退化？它能否补偿领域偏移？
• RQ5 控制器是否能泛化到现实世界中的噪声和不准确性，如传感器遮挡和物体属性不匹配？

主要发现

• 在虚拟演示上训练的控制器成功在物理Baxter机器人上执行了抓取-放置和推送到目标姿态任务，证明了从仿真到现实的有效迁移。
• LSTM+MDN架构在处理多模态和复杂轨迹方面显著优于使用均方误差损失训练的前馈网络。
• 通过包含不完美演示（如抓取失败和纠正动作）进行训练，使机器人能够学习自我纠正，从而提升了在真实世界中的鲁棒性。
• 物理世界中的成功率低于仿真环境，主要原因是传感器噪声、遮挡期间的物体跟踪丢失，以及摩擦系数和物体尺寸等物理属性的差异。
• 推送到目标姿态任务的性能下降幅度大于抓取-放置任务，因其对仿真与现实间物理差异更为敏感。
• 机器人从不完美演示中学到的错误恢复能力，在真实世界中至关重要，因为失败在现实中不可避免。