[論文レビュー] One-Shot Imitation from Observing Humans via Domain-Adaptive Meta-Learning

Tianhe Yu, Chelsea Finn+5 more|arXiv (Cornell University)|Feb 5, 2018

Robot Manipulation and Learning参考文献 56被引用数 111

ひとこと要約

本論文は、ドメイン適応メタ学習アプローチを用いて、人間の1つのビデオから新しいタスクを模倣できるロボットを実現する。タスクを横断する人間およびロボットのデモンストレーションを事前に活用する。

ABSTRACT

Humans and animals are capable of learning a new behavior by observing others perform the skill just once. We consider the problem of allowing a robot to do the same -- learning from a raw video pixels of a human, even when there is substantial domain shift in the perspective, environment, and embodiment between the robot and the observed human. Prior approaches to this problem have hand-specified how human and robot actions correspond and often relied on explicit human pose detection systems. In this work, we present an approach for one-shot learning from a video of a human by using human and robot demonstration data from a variety of previous tasks to build up prior knowledge through meta-learning. Then, combining this prior knowledge and only a single video demonstration from a human, the robot can perform the task that the human demonstrated. We show experiments on both a PR2 arm and a Sawyer arm, demonstrating that after meta-learning, the robot can learn to place, push, and pick-and-place new objects using just one video of a human performing the manipulation.

研究の動機と目的

• 人間の生データ映像からのワンショット模倣を、ドメインシフトがあっても実現する方法を開発する。
• タスク横断の先行する人間およびロボットデモンストレーションを用いたメタ学習で、転送可能なポリシー事前知識を獲得する。
• 新しいタスクには、人間デモ一件のみで、同新タスクのロボットデータを使わず迅速に適応できるようにする。

提案手法

• ドメインシフトに対処し、人間の行動なしで人間ビデオから学習するように MAML を拡張する。
• タスク横断で人間とロボットのデモをペアにしてメタ訓練し、初期化と学習済み適応損失 L_ψ を学習する。
• 動画のトリックを処理し勾配更新を導くために、1D 時系列畳み込みを用いて時間的適応目的関数 L_ψ を学習する。
• RGB 入力を行動分布へ写像するポリシーを用い、空間的ソフトアークマックスによる知覚と行動の混合密度を用いる。
• メタテスト時には、学習済み初期化から1つの人間デモを用いてロボットの行動を生成するように適応する。
• 学習済みエネルギー項を用いたMAP推論として適応を位置づける確率的解釈を提供する。

実験結果

リサーチクエスチョン

• RQ1 提案されたドメイン適応メタ学習は、オブジェクトやシーンの変動を跨いで1つの人間ビデオから新しいタスクをロボットに模倣させることを可能にするか。
• RQ2 トレーニング時に見られなかった異なる視点、背景、デモンストレーターに対してアプローチは一般化するか。
• RQ3 動画情報を活用する際、時間的適応目的と各時刻の損失（パータイムステップ損失）を比較してどうか。
• RQ4 この手法は異なるロボットプラットフォームやデモンストレーションタイプ（キネステック/テレオペレーション）で転用可能か。

主な発見

• 人間とロボットデータを用いたメタ訓練の後、新しい物体とタスクに対して頑健なワンショット模倣を実現。
• 時間的適応目的は線形の各時刻損失を著しく上回り、動画デモンストレーションからの学習を改善。
• PR2 で DAML 時間的損失は配置(93.8%)、押し (88.9%)、ピック＆プレース(80.0%) の高い成功率を達成。
• ベースラインの DA-LSTM および文脈ポリシーはデモが限られると苦戦し、提案された時間的損失のデータ効率を際立たせる。
• 大きなドメインシフト（異なるカメラ視点や背景を含む）下でも有効だが、背景のばらつきは性能を低下させる可能性がある。