[論文レビュー] Learning Manipulation Trajectories Using Recurrent Neural Networks

Rouhollah Rahmatizadeh, Pooya Abolghasemi+1 more|arXiv (Cornell University)|Mar 12, 2016

Robot Manipulation and Learning参考文献 35被引用数 15

ひとこと要約

本論文は、現在のエンドエフェクタ状態、環境上の物体、ユーザーの好みを入力として用い、リアルタイムで軌道生成が可能な、エンドツーエンドの再帰的ニューラルネットワーク（RNN）ベースの手法を提案する。この手法は、シミュレーション環境における人間のデモから学習し、2つの異なる操作タスクにおけるタスク計画と障害回復を成功裏に実現する。

ABSTRACT

Robots assisting disabled or elderly people in the performance of activities of daily living need to perform complex manipulation tasks which are highly dependent on the environment and preferences of the user. In addition, these environments and users are not suitable for the collection of massive amounts of training data, as the manipulated objects can be fragile, and the wheelchair-bound users might have difficulty recovering from a failed manipulation task. In this paper, we propose an end-to-end learning mechanism for the type of complex robot arm trajectories used in manipulation tasks for assistive robots. The trajectory is learned using a recurrent neural network that can generate the trajectory in real-time based on the current situation of the end-effector, the objects in the environment and the preferences of the user. The learning data is acquired from a simulation environment where the human can demonstrate the task in a simulation closely modeling his or her own environment. Experiments using two different manipulation tasks show that the robot can learn the manipulation planning as well the ability to recover from failure.

研究の動機と目的

• 障害者や高齢者を支援する補助ロボットが、複雑で環境依存的な操作タスクを学習する課題に対処すること。
• 壊れやすい物やユーザーが失敗にさらされるリスクがあるため、大規模な実世界の訓練データを収集することが難しいという制限を克服すること。
• エンドエフェクタの状態、物体の位置、ユーザーの好みといった動的入力を入力として、リアルタイムの軌道を生成するエンドツーエンドの学習メカニズムを開発すること。
• ロボットが成功したタスク実行だけでなく、シミュレーションでのデモを通じて障害からの回復を学習できるようにすること。

提案手法

• 再帰的ニューラルネットワーク（RNN）を用いて、操作軌道における時間的依存性をモデル化し、現在の状態入力に基づいてリアルタイムの生成を可能にする。
• 人間のユーザーがシミュレーション環境でタスクを実行する際のデモデータを用いてRNNを学習する。このシミュレーション環境は、ユーザーの実世界の設定を忠実に再現している。
• エンドエフェクタの位置、物体の位置、ユーザー固有の好みといった状態入力をRNNの入力として取り入れ、軌道予測を実行する。
• 学習されたポリシーの転送性を確保するため、現実世界の制約とユーザー固有の状態を反映したシミュレーション環境を設計する。
• 現在の環境的およびユーザー状態から、将来の関節またはエンドエフェクタの軌道のシーケンスへのマッピングを、エンドツーエンドでRNNに学習させる。
• 障害シナリオとその回復デモを訓練データに含めることで、障害回復行動を統合する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのモデルは、シミュレーション環境における人間のデモから、エンドツーエンドで複雑な操作軌道を学習できるか？
• RQ2 動的環境的およびユーザー状態の入力のもとで、学習されたポリシーはリアルタイムの軌道生成に一般化できるか？
• RQ3 モデルは成功したタスク実行に加え、効果的な障害回復戦略も学習できるか？
• RQ4 限られた実世界データのもとで、シミュレーションから現実への転送性能はどの程度良好か？

主な発見

• RNNベースのアプローチは、シミュレーションベースのデモのみを用いて、2つの異なるタスクの操作軌道を成功裏に学習した。
• ロボットは、現在の環境的およびユーザー状態の入力を基にリアルタイムで軌道を生成し、タスク実行中の適応的行動を実現した。
• モデルは、デモデータから回復行動を学習することで、障害からの回復能力を示した。
• シミュレーション環境により、ユーザーまたは壊れやすい物へのリスクを伴わずに効果的なデータ収集が可能となり、安全なポリシー学習を支援した。