[論文レビュー] Learning Latent Plans from Play

Corey Lynch, Mohi Khansari+5 more|arXiv (Cornell University)|Mar 5, 2019

Reinforcement Learning in Robotics参考文献 61被引用数 25

ひとこと要約

本論文では、ラベルなしの人間の遠隔操作プレイデータから、分離可能な潜在的計画空間を自己教師学習で学習するPlay-LMPを提案する。この手法により、1つのポリシーが18種類の多様な視覚的操作タスクに一般化可能となる。訓練時にタスクラベルを一切使用しないにもかかわらず、Play-LMPは平均85.5%の成功を達成し、18の専門家訓練済ポリシーを上回る。また、教師付きベースラインでは観察されない、頑健性と再試行行動を示している。

ABSTRACT

Acquiring a diverse repertoire of general-purpose skills remains an open challenge for robotics. In this work, we propose self-supervising control on top of human teleoperated play data as a way to scale up skill learning. Play has two properties that make it attractive compared to conventional task demonstrations. Play is cheap, as it can be collected in large quantities quickly without task segmenting, labeling, or resetting to an initial state. Play is naturally rich, covering ~4x more interaction space than task demonstrations for the same amount of collection time. To learn control from play, we introduce Play-LMP, a self-supervised method that learns to organize play behaviors in a latent space, then reuse them at test time to achieve specific goals. Combining self-supervised control with a diverse play dataset shifts the focus of skill learning from a narrow and discrete set of tasks to the full continuum of behaviors available in an environment. We find that this combination generalizes well empirically---after self-supervising on unlabeled play, our method substantially outperforms individual expert-trained policies on 18 difficult user-specified visual manipulation tasks in a simulated robotic tabletop environment. We additionally find that play-supervised models, unlike their expert-trained counterparts, are more robust to perturbations and exhibit retrying-till-success behaviors. Finally, we find that our agent organizes its latent plan space around functional tasks, despite never being trained with task labels. Videos, code and data are available at learning-from-play.github.io

研究の動機と目的

• 高価なタスク固有の専門家デモンストレーションに依存せずに、多様で汎用的なスキルレパートリーをロボットが習得する課題に対処すること。
• ラベルなしの人間のプレイデータからの自己教師学習が、連続的相互作用空間におけるタスクに依存しない制御を可能にするかを検討すること。
• プレイデータから学習した潜在的計画空間が、タスクラベルなしで機能的行動を暗黙的に整理できるかを調査すること。
• 専門家デモンストレーションで訓練されたポリシーと比較して、プレイデータで訓練されたポリシーの頑健性と一般化能力を評価すること。

提案手法

• ラベルなしのプレイデータのランダムな時間窓を用いて、ゴール条件付きポリシーを訓練する。行動は、現在の状態、ゴール状態、およびサンプリングされた潜在的計画に基づいて再構築される。
• 2つの確率的エンコーダーを用いる：全系列から正確な行動を推定する「計画認識エンコーダー」と、初期状態と最終状態から可能な行動を予測する「計画提案エンコーダー」。
• 2つのエンコーダー間のKLダイバージェンスを最小化することで、計画提案がプレイで観察された実際の行動と一致するようにする。
• 1つの統合モデルを用いて、生のピクセルからセンサリポリシーを学習し、多様なテスト時のゴールに一般化可能にする。
• 計画発見とポリシー学習を分離することで、タスクの監視なしに潜在空間で機能的行動を発見可能にする。
• テスト時に、現在の状態、ゴール状態、および推定分布から1つのサンプルされた潜在的計画を条件としてポリシー推論を行う。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの人間のプレイデータからの自己教師学習が、タスク固有の監視なしに、広範な視覚的操作タスクにまたがる1つのポリシーの一般化を可能にするか？
• RQ2 プレイデータからの学習が、専門家による教師付き学習と比較して、失敗からの再試行・回復が可能なより頑健なポリシーを生み出すか？
• RQ3 タスクラベルなしで、プレイデータから学習した潜在的計画空間が、機能的タスクカテゴリ（例：引き出し操作、ボタン押し）の周囲に自己組織化するか？
• RQ4 成功確率とデータ効率の観点から、1つのプレイ監視ポリシーの性能は、複数の専門家訓練済ポリシーと比較してどうなるか？

主な発見

• 1つのPlay-LMPポリシーが、18種類のユーザー指定の視覚的操作タスクで平均85.5%の成功を達成し、平均70.3%の成功を達成する18の専門家訓練済行動クラーニングポリシーを上回った。
• プレイデータがたった30分でも、Play-LMPは90分のクリアされたデモンストレーションで訓練された専門家訓練済ポリシー（3倍のデータ量）を上回る71.8%の成功を達成した。
• Play-LMPモデルは、専門家による教師付きモデルと比較して、初期状態の摂動に対してはるかに頑健であり、分布シフト下での一般化能力が向上していることが示された。
• 訓練時にタスクラベルが一切使用されなかったにもかかわらず、Play-LMPが学習した潜在的計画空間は、引き出し操作やボタン押しといった機能的行動の周囲に自己組織化しており、機能的タスク発見が顕在化している。
• プレイ監視モデルは、失敗後に再試行する「失敗から成功まで繰り返す」行動を示すが、これは専門家による教師付きモデルでは観察されないため、適応性の向上が示唆される。
• Play-LMPにおける計画発見とポリシー学習の分離により、ベースライン手法（Play-GCBC）と比較して、1タスクあたり最大50パーセンテージポイントの絶対的性能向上が達成された。