[論文レビュー] Learning real manipulation tasks from virtual demonstrations using LSTM

Rouhollah Rahmatizadeh, Pooya Abolghasemi+2 more|arXiv (Cornell University)|Mar 12, 2016

Robot Manipulation and Learning参考文献 19被引用数 28

ひとこと要約

本論文では、LSTMベースのネットワークに混合密度ネットワーク（MDN）損失を適用して仮想的デモンストレーションを用いてロボットコントローラーを訓練する手法を提案する。この手法により、物理的ロボットへの転送が可能となり、Baxterロボットで複雑な操作タスクを実行できる。フィードフォワードネットワークよりも優れた性能を示し、不完全なデモンストレーションから誤りを是正する能力を有する。

ABSTRACT

Robots assisting the disabled or elderly must perform complex manipulation tasks and must adapt to the home environment and preferences of their user. Learning from demonstration is a promising choice, that would allow the non-technical user to teach the robot different tasks. However, collecting demonstrations in the home environment of a disabled user is time consuming, disruptive to the comfort of the user, and presents safety challenges. It would be desirable to perform the demonstrations in a virtual environment. In this paper we describe a solution to the challenging problem of behavior transfer from virtual demonstration to a physical robot. The virtual demonstrations are used to train a deep neural network based controller, which is using a Long Short Term Memory (LSTM) recurrent neural network to generate trajectories. The training process uses a Mixture Density Network (MDN) to calculate an error signal suitable for the multimodal nature of demonstrations. The controller learned in the virtual environment is transferred to a physical robot (a Rethink Robotics Baxter). An off-the-shelf vision component is used to substitute for geometric knowledge available in the simulation and an inverse kinematics module is used to allow the Baxter to enact the trajectory. Our experimental studies validate the three contributions of the paper: (1) the controller learned from virtual demonstrations can be used to successfully perform the manipulation tasks on a physical robot, (2) the LSTM+MDN architectural choice outperforms other choices, such as the use of feedforward networks and mean-squared error based training signals and (3) allowing imperfect demonstrations in the training set also allows the controller to learn how to correct its manipulation mistakes.

研究の動機と目的

• 非技術者ユーザーが安全で破壊的でない環境で仮想的デモンストレーションを用いてロボットに複雑な操作タスクを教えることを可能にすること。
• シミュレーションで学習したポリシーを現実世界の動的特性とセンサ制限を有する物理的ロボットに転送する課題に対処すること。
• マルチモーダルで不完全なデモンストレーションを処理でき、タスク実行中にミスから学習できるコントローラーを開発すること。
• 標準的なフィードフォワードネットワークと平均二乗誤差による学習と比較して、LSTMにMDN損失を適用した手法の有効性を評価すること。

提案手法

• 操作タスクの仮想的デモンストレーションをシミュレーテッド環境で収集し、深層ニューラルネットワークコントローラーの学習に用いる。
• 時間的依存性をモデル化するために、長短期記憶（LSTM）再帰的ネットワークを用いる。
• 人間のデモンストレーションのマルチモーダル性に対応するため、混合密度ネットワーク（MDN）が確率的誤差信号を計算する。
• 訓練されたコントローラーが生成する軌道を、物理的実行のため逆運動学モジュールを介して関節角度にマッピングする。
• 幾何的知識の代わりに、市販のビジョンシステムを用いることで、現実世界の認識を可能にする。
• 物理プラットフォーム上で再訓練を一切行わずに、Rethink RoboticsのBaxterロボットにポリシーを転送する。

実験結果

リサーチクエスチョン

• RQ1 仮想的デモンストレーションで訓練されたコントローラーは、物理的ロボットで操作タスクを成功裏に実行できるか？
• RQ2 LSTM+MDNアーキテクチャは、平均二乗誤差損失で訓練されたフィードフォワードネットワークよりもポリシー学習において優れているか？
• RQ3 不完全なデモンストレーションで訓練された場合、コントローラーは誤りを是正できるか？
• RQ4 ビジョンと逆運動学を用いることで、シミュレーションから現実世界への一般化はどの程度うまくいくか？

主な発見

• 仮想的デモンストレーションで訓練されたコントローラーは、物理的Baxterロボットで操作タスクを成功裏に実行し、効果的なポリシー転送を示した。
• LSTM+MDNアーキテクチャは、平均二乗誤差で訓練されたフィードフォワードネットワークを著しく上回り、特にマルチモーダルなデモンストレーションデータの処理において優れた性能を示した。
• 不完全なデモンストレーションで訓練されたシステムは、現実世界のばらつきに対して耐性を高めるために、操作の誤りを是正する能力を学習した。
• 市販のビジョンシステムと逆運動学の使用により、正確なシミュレーションの忠実度を必要とせず、物理的ロボットでの機能的実行が可能になった。