[論文レビュー] Guided Meta-Policy Search

Russell Mendonca, Abhishek Gupta+4 more|arXiv (Cornell University)|Apr 1, 2019

Reinforcement Learning in Robotics参考文献 46被引用数 16

ひとこと要約

本稿では、ガイドドメタポリシー探索（GMPS）を提案する。GMPSは、メタトレーニングの高速化を図るために、オフポリシーRLや人間のデモを専門家として用いた教師付き模倣を活用し、迅速な強化学習手順を学習するメタ強化学習手法である。GMPSは、先行するメタ強化学習手法と比較して最大10倍のサンプル効率向上を達成し、スパarsely-rewarded環境やビジュアル制御タスクにおいても効果的な適応を可能にする。

ABSTRACT

Reinforcement learning (RL) algorithms have demonstrated promising results on complex tasks, yet often require impractical numbers of samples since they learn from scratch. Meta-RL aims to address this challenge by leveraging experience from previous tasks so as to more quickly solve new tasks. However, in practice, these algorithms generally also require large amounts of on-policy experience during the meta-training process, making them impractical for use in many problems. To this end, we propose to learn a reinforcement learning procedure in a federated way, where individual off-policy learners can solve the individual meta-training tasks, and then consolidate these solutions into a single meta-learner. Since the central meta-learner learns by imitating the solutions to the individual tasks, it can accommodate either the standard meta-RL problem setting or a hybrid setting where some or all tasks are provided with example demonstrations. The former results in an approach that can leverage policies learned for previous tasks without significant amounts of on-policy data during meta-training, whereas the latter is particularly useful in cases where demonstrations are easy for a person to provide. Across a number of continuous control meta-RL problems, we demonstrate significant improvements in meta-RL sample efficiency in comparison to prior work as well as the ability to scale to domains with visual observations.

研究の動機と目的

• メタトレーニング中のメタ強化学習の高いサンプル複雑性を解消し、現実世界の応用における実用性を向上させること。
• 安定した模倣学習を用いて専門家軌道の生成とメタポリシー学習を分離することで、効率的なメタ最適化を実現すること。
• デモを組み込むことで、スパarsely-rewarded環境における探索をガイドし、サンプル効率を向上させること。
• 安定した模倣ベースのメタ最適化を用いて、高次元のビジュアル観測空間へのメタ強化学習のスケーリングを実現すること。
• メタテスト時に僅か数ステップの勾配更新で、ビジュアルベースのポリシーの迅速な適応を可能にすること。

提案手法

• GMPSは、各メタトレーニングタスクに対して、オフポリシーRLや人間のデモによって生成された専門家ポリシーを模倣することでメタラーナーをトレーニングする。
• メタラーナーは、内側ループで1回または数回の勾配ステップ後に専門家の行動を再現するように、教師付き模倣損失を用いて最適化される。
• 専門家ポリシーは、メタトレーニング中にオンポリシーデータ収集を回避するため、効率的なオフポリシーRLアルゴリズムを独立して用いて生成される。
• ビジュアル制御タスクでは、ポリシー全体（畳み込み層および全結合層を含む）がメタ最適化されるが、内側ループのファインチューニングでは主に全結合層のみが適応される。
• デモが利用可能な場合にそれを活用するハイブリッド設定をサポートし、安定性とサンプル効率が向上する。
• 専門家ポリシー生成とメタ最適化を分離することで、スケーラブルかつ安定したメタ強化学習トレーニングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 教師付き模倣を用いることで、メタトレーニング中のメタ強化学習のサンプル複雑性を顕著に低減できるか？
• RQ2 スパarsely-rewarded環境において、専門家デモを組み込むことで、メタ最適化の安定性とサンプル効率にどのような影響を与えるか？
• RQ3 GMPSは、メタテスト時に僅か数ステップの勾配更新で、ビジュアルベースのポリシーの迅速な適応を可能にするか？
• RQ4 GMPSは、MAML、PEARL、MAESNといった標準的なメタ強化学習手法と比較して、サンプル効率およびパフォーマンス面で優れているか？
• RQ5 マルチタスク模倣で事前学習した場合、GMPSは分布外タスクへの一般化を効果的に行えるか？

主な発見

• GMPSは、PEARL、MAESN、MAMLといった先行メタ強化学習手法と比較して、最大10倍のサンプル効率向上を達成した。
• ドア開閉や脚付き走破のようなスパarsely-rewarded環境では、報酬信号が不足するため標準的なメタ強化学習が失敗する中、GMPSは探索戦略を効果的に学習した。
• ビジュアルベースのタスクでは、GMPSが畳み込みポリシーの安定したトレーニングを可能にし、最終パフォーマンスおよびサンプル効率の面でMAMLや単一タスク強化学習を上回った。
• ホールドアウトされた検証タスクにおいて、GMPSはマルチタスク模倣ファインチューニングを著しく上回り、優れた適応性を示した。
• 高次元のビジュアル観測空間においても、GMPSは僅か数ステップの勾配降下でポリシーの迅速な適応を可能にした。
• メタトレーニング中にデモを用いることで、探索の課題が軽減され、スパarsely-rewarded環境でも効果的なメタ最適化が可能になった。