[論文レビュー] Watch, Try, Learn: Meta-Learning from Demonstrations and Rewards

Allan Zhou, Eric Jang+8 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 37被引用数 9

ひとこと要約

本論文は、最小限のデータで新しい視覚ベースの制御タスクに素早く適応できるようにするため、デモンストレーションとスパース報酬フィードバックを組み合わせたメタラーニングフレームワークを提案する。メタ最適化方式内で模倣学習と強化学習を統合することにより、従来のメタ模倣学習およびメタ強化学習手法と比較して、困難な制御ベンチマークにおいて優れた一般化性能と高いデータ効率を達成する。

ABSTRACT

Imitation learning allows agents to learn complex behaviors from demonstrations. However, learning a complex vision-based task may require an impractical number of demonstrations. Meta-imitation learning is a promising approach towards enabling agents to learn a new task from one or a few demonstrations by leveraging experience from learning similar tasks. In the presence of task ambiguity or unobserved dynamics, demonstrations alone may not provide enough information; an agent must also try the task to successfully infer a policy. In this work, we propose a method that can learn to learn from both demonstrations and trial-and-error experience with sparse reward feedback. In comparison to meta-imitation, this approach enables the agent to effectively and efficiently improve itself autonomously beyond the demonstration data. In comparison to meta-reinforcement learning, we can scale to substantially broader distributions of tasks, as the demonstration reduces the burden of exploration. Our experiments show that our method significantly outperforms prior approaches on a set of challenging, vision-based control tasks.

研究の動機と目的

• 複雑な視覚ベースのタスクにおいて、模倣学習が多数のデモンストレーションを必要とするという制限に対処する。
• スパース報酬を用いた試行錯誤の経験を組み込むことで、デモンストレーションの曖昧さを克服する。
• デモンストレーションからの事前学習と、相互作用による自律的改善を組み合わせることで、広範なタスク分布に一般化できるようにする。
• デモンストレーションデータを活用して方策学習をガイドすることで、メタ強化学習における探索負荷を軽減する。

提案手法

• デモンストレーションの行動とスパース報酬信号の両方を同時に最適化するメタ模倣学習およびメタ強化学習フレームワークを定式化する。
• 適応段階で少数のショットデモンストレーションとスパース報酬フィードバックを用いて、メタラーナーがポリシー・ネットワークをタスク間で適応させる。
• デモンストレーションからの行動クラッシング損失と、スパース報酬に基づく強化学習目的関数を統合したメタ最適化目的関数に統合する。
• 視覚的特徴を観測から抽出するために共有の表現バックボーンを活用し、視覚的に類似したタスク間での転送を可能にする。
• 推論時に未観測のタスクにゼロショットで一般化できるように、多様なタスクでメタラーナーを訓練する。
• 勾配ベースのメタラーニング更新ルール（例：MAML風）を適用し、1つのデモンストレーションとスパース報酬からの迅速な適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 デモンストレーションとスパース報酬を組み合わせることで、単独のデモンストレーションのみを用いる場合よりも、メタ模倣学習の性能を向上させることができるか？
• RQ2 試行錯誤の経験を組み込むことで、ショット学習における視覚ベースの制御タスクにおいて、一般化性能とデータ効率がどの程度向上するか？
• RQ3 本手法は、純粋なメタ模倣学習およびメタ強化学習と比較して、性能とデータ効率の面でどのように差をつけるか？
• RQ4 広範なタスク分布へスケーリング可能であり、かつ迅速な適応性と高いデータ効率を維持できるか？

主な発見

• 提案手法は、1タスクあたり1つのデモンストレーションしか与えられない状況でも、困難な視覚ベースの制御タスクにおいて、従来のメタ模倣学習手法を顕著に上回る性能を達成する。
• デモンストレーションのガイドランスのおかげで探索負荷が低減されるため、メタ強化学習と比較して、多様なタスクにわたる一般化性能が向上する。
• スパース報酬フィードバックの統合により、エージェントは初期デモンストレーションを超えて自律的に改善でき、曖昧さや未観測のダイナミクスを是正できる。
• 本手法は顕著なデータ効率を示し、ベースライン手法と比較してはるかに少ない環境インタラクション回数で効果的なポリシーを学習する。