[論文レビュー] Deep Imitation Learning for Complex Manipulation Tasks from Virtual Reality Teleoperation

Tianhao Zhang, Zoe McCarthy+5 more|arXiv (Cornell University)|Oct 12, 2017

Robot Manipulation and Learning参考文献 50被引用数 54

ひとこと要約

著者らは、デモを収集し、行動複製によって深い視覚運動ポリシーを訓練するためのコンシューマーVRテレオペレーションシステムを構築し、実世界の10個の操作タスクにおいて、1タスクあたり30分未満のデータ量で高い成功率を達成した。

ABSTRACT

Imitation learning is a powerful paradigm for robot skill acquisition. However, obtaining demonstrations suitable for learning a policy that maps from raw pixels to actions can be challenging. In this paper we describe how consumer-grade Virtual Reality headsets and hand tracking hardware can be used to naturally teleoperate robots to perform complex tasks. We also describe how imitation learning can learn deep neural network policies (mapping from pixels to actions) that can acquire the demonstrated skills. Our experiments showcase the effectiveness of our approach for learning visuomotor skills.

研究の動機と目的

• 高品質なロボット操作デモンストレーションを収集するための安価なVRテレオペレーション環境を実証する。
• ピクセルから行動へをマッピングする深層視覚運動ポリシーを、行動複製を用いて学習する。
• 限られたデータで、単一のニューラルアーキテクチャが複数の操作タスクを扱えることを示す。
• サンプル効率と学習に対する補助的自己監視損失が学習に与える影響を分析する。
• 未知の初期状態やタスクの変動への一般化を探る。

提案手法

• Vive VRヘッドセットとモーション追跡コントローラを用いて、観測空間と作用空間を共有するPR2ロボットをテレオペレートする。
• 入力としてRGB-D画像とエンドエフェクタの履歴を取得し、出力として右腕のグリッパーコマンド、角速度・線速度を出す。
• 画像からの特徴抽出に空間ソフトアークマックスを用いた、三つのモジュール（ビジョン、補助、制御）を備えたニューラルネットワークを採用する。
• L2、L1、方向整列損失、グリッパーの開閉損失と補助損失を含む行動複製損失で訓練する。
• データ効率を高めるため、現在および最終のグリッパー姿勢の予測など、自己監視的な補助タスクを組み込む。
• タスク間で固定されたハイパーパラメータセットを用いて、確率的勾配降下法/ADAMで最適化する。

実験結果

リサーチクエスチョン

• RQ1 安価なVRテレオペレーションは、ピクセルからの視覚運動ポリシーを学習するのに適したデモンストレーションを収集できるか？
• RQ2 多様な操作タスクに対して成功するポリシーを学習するのに必要なデータ効率（デモンストレーション時間）はどの程度か？
• RQ3 補助的自己監視損失は実世界のロボット操作でデータ効率を向上させるか？
• RQ4 未知の初期状態やタスクの変動に対して、ポリシーはどれだけ一般化するか？

主な発見

• VRデモンストレーションは、さまざまな実世界タスクに対して高性能な深層視覚運動ポリシーを実現した。
• ほとんどのタスクで、タスクごとにデモンストレーション30分未満で高い成功を達成した。
• VRで収集されたデモは、学習に十分な自然なばらつきを提供した。
• 補助的予測損失は、実世界の操作におけるデータ効率を向上させた。
• ポリシーは、未見の初期状態や外挿的なシナリオへの一般化を示した。
• このアプローチは、長期的・多段階のタスクや接触が多い複雑な操作にも対応できる。