[論文レビュー] Generative predecessor models for sample-efficient imitation learning

Yannick Schroecker, Mel Vecerík+1 more|arXiv (Cornell University)|Apr 1, 2019

Reinforcement Learning in Robotics被引用数 12

ひとこと要約

本稿では、模倣学習のための生成的先行モデル（GPRIL）を提案する。これは、専門家が観測した状態に至る可能性の高い過去の状態・行動ペアを推定するために条件付き生成モデルを用いる、サンプル効率に優れた模倣学習アルゴリズムである。これらの合成された先行軌道をデモンストレーションに追加することで、GPRILは少数の専門家デモンストレーションからの頑健なポリシー学習を可能にし、サンプル効率が著しく向上する。実験では、特に少数のデモンストレーションで行うピッグインサーションタスクを含む、シミュレーテッドおよび実世界のロボット操作タスクでその有効性が示された。

ABSTRACT

We propose Generative Predecessor Models for Imitation Learning (GPRIL), a novel imitation learning algorithm that matches the state-action distribution to the distribution observed in expert demonstrations, using generative models to reason probabilistically about alternative histories of demonstrated states. We show that this approach allows an agent to learn robust policies using only a small number of expert demonstrations and self-supervised interactions with the environment. We derive this approach from first principles and compare it empirically to a state-of-the-art imitation learning method, showing that it outperforms or matches its performance on two simulated robot manipulation tasks and demonstrate significantly higher sample efficiency by applying the algorithm on a real robot.

研究の動機と目的

• 模倣学習におけるサンプル非効率性、特に専門家デモンストレーションが乏しいまたは不完全な状況を解決すること。
• 完全な軌道や遠隔操作、報酬形状の必要がない状態で、単に示された状態からの頑健なポリシー学習を可能にすること。
• 生成モデルを用いて長期的な先行分布をモデル化することで、一般化性能と誤り回復能力を向上させること。
• 最小限の人的介入で、実世界のロボットシステムへの模倣学習の実用的導入を可能にすること。

提案手法

• 本手法は、専門家デモンストレーションで観測された将来の状態を前提として、過去の状態・行動ペアの条件付き分布をモデル化するためにマスクド自己回帰フロー（MAFs）を用いる。
• 与えられたデモンストレーション済み状態に至る妥当な先行軌道（状態・行動ペアの系列）を生成する生成モデルを構築し、これにより有効な訓練データを拡張する。
• エージェントは、専門家デモンストレーションと生成された先行サンプルを組み合わせたデータセット上で教師あり学習により訓練され、逸脱からの回復が可能になる。
• エージェントの状態・行動分布が専門家のものと一致するように、最尤推定の原則に基づいてアルゴリズムが導出される。
• 自己教師ありループとして動作する：環境と相互作用 → 状態・行動・将来状態の三つ組を収集 → 生成モデルを訓練 → 訓練データを拡張 → ポリシーを再訓練。
• 部分的なデモンストレーション（例：最終状態のみ）から学習可能であり、目的の状態に至る妥当な中間経路を生成することで対応する。

実験結果

リサーチクエスチョン

• RQ1 生成的モデリングによる先行軌道の推定は、模倣学習におけるサンプル効率を向上させるか？
• RQ2 完全な軌道が得られない状況下でも、専門家デモンストレーションの最終状態のみからエージェントが頑健なポリシーを学習できるか？
• RQ3 生成的先行モデルの使用は、標準的な模倣学習ベースラインと比較して、より優れた一般化性能と誤り回復能力をもたらすか？
• RQ4 本手法は、遠隔操作や報酬信号を一切用いずに、キネステティックデモンストレーションのみで実ロボット上に成功裏に展開可能か？

主な発見

• GPRILは、ピッグインサーションを含む2つのシミュレーテッド操作タスクにおいて、状態の最先端のGAILと同等またはそれを上回る性能を示したが、環境サンプル数は桁違いに少ない。
• 最終状態のみのデモンストレーションを用いたピッグインサーションタスクでは、GPRILは90％を超える高い成功率を維持し、迅速に学習を達成した。一方、GAILは不安定になり、性能のばらつきが著しく顕著であった。
• 可動位置のソケットを備えた実ロボット上では、GPRILはわずか20件のキネステティックに記録されたデモンストレーションと19時間未満の環境相互作用で、成功した挿入ポリシーを学習し、収束も著しく早期に達成した。
• 物理的タスクにおいて未観測の挿入角度に対しても、GPRILは良好な一般化性能を示し、実世界の条件下での頑健さと適応性を実証した。
• GPRILは、たとえ訓練データがスパース（例：最終状態のみ）であっても、妥当な中間軌道を生成できるため、高い性能を発揮した。
• 本手法は、遠隔操作や補助報酬、手動タスク分解を一切不要とし、自然なキネステティック教示インターフェースのみで効果的な模倣学習を可能にした。