[论文解读] Learning Manipulation Trajectories Using Recurrent Neural Networks

Rouhollah Rahmatizadeh, Pooya Abolghasemi+1 more|arXiv (Cornell University)|Mar 12, 2016

Robot Manipulation and Learning参考文献 35被引用 15

一句话总结

本文提出了一种基于循环神经网络（RNN）的端到端方法，用于在辅助机器人领域学习复杂的操作轨迹，能够根据当前末端执行器状态、环境物体和用户偏好实时生成轨迹。该方法通过在模拟环境中学习人类示范，成功实现了在两种不同操作任务中的任务规划与故障恢复。

ABSTRACT

Robots assisting disabled or elderly people in the performance of activities of daily living need to perform complex manipulation tasks which are highly dependent on the environment and preferences of the user. In addition, these environments and users are not suitable for the collection of massive amounts of training data, as the manipulated objects can be fragile, and the wheelchair-bound users might have difficulty recovering from a failed manipulation task. In this paper, we propose an end-to-end learning mechanism for the type of complex robot arm trajectories used in manipulation tasks for assistive robots. The trajectory is learned using a recurrent neural network that can generate the trajectory in real-time based on the current situation of the end-effector, the objects in the environment and the preferences of the user. The learning data is acquired from a simulation environment where the human can demonstrate the task in a simulation closely modeling his or her own environment. Experiments using two different manipulation tasks show that the robot can learn the manipulation planning as well the ability to recover from failure.

研究动机与目标

• 解决为残障或老年用户服务的辅助机器人在学习复杂、依赖环境的操作任务方面的挑战。
• 克服由于易碎物品和用户对失败的脆弱性而导致大规模真实世界训练数据难以收集的局限。
• 开发一种端到端的学习机制，根据动态输入（包括末端执行器状态、物体位置和用户偏好）实时生成轨迹。
• 使机器人不仅能学习成功执行任务，还能通过示范学习从故障中恢复的能力。

提出的方法

• 使用循环神经网络（RNN）建模操作轨迹中的时间依赖性，从而基于当前状态输入实现实时轨迹生成。
• 使用在模拟环境中由人类用户执行任务时收集的示范数据对RNN进行训练，该模拟环境高度模拟用户的真实世界场景。
• 将末端执行器位置、物体位置和用户特定偏好等状态输入作为RNN的输入，用于轨迹预测。
• 设计模拟环境以反映真实世界的约束和用户特定条件，确保所学策略的可迁移性。
• 端到端训练RNN，将当前环境和用户状态映射为未来关节或末端执行器轨迹的序列。
• 通过在训练数据中包含故障场景和恢复示范，集成故障恢复行为。

实验结果

研究问题

• RQ1 基于RNN的模型能否在模拟环境中仅通过人类示范端到端学习复杂的操作轨迹？
• RQ2 所学策略能否在动态环境和用户状态输入下实现真实时间轨迹生成？
• RQ3 该模型能否不仅学习成功的任务执行，还能学习有效的故障恢复策略？
• RQ4 在真实世界数据有限的情况下，模拟到现实的迁移性能如何？

主要发现

• 基于RNN的方法仅通过基于模拟的示范，成功学习了两种不同任务的操作轨迹。
• 机器人能够根据当前环境和用户状态输入实时生成轨迹，实现在任务执行过程中的自适应行为。
• 该模型通过学习示范数据中的恢复行为，展示了从故障中恢复的能力。
• 模拟环境实现了无风险的数据收集，保护了用户和易碎物品，支持了安全的策略学习。