[論文レビュー] Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables

Kate Rakelly, Aurick Zhou+3 more|arXiv (Cornell University)|Mar 19, 2019

Reinforcement Learning in Robotics被引用数 227

ひとこと要約

PEARL は、確率的潜在コンテキストを用いたオフポリシー・メタ強化学習アルゴリズムを導入し、新しいタスクへ迅速に適応する能力を提供します。6つの連続制御ベンチマークにおいて、メタ学習サンプル効率を20-100X改善し、漸近的な性能も向上します。

ABSTRACT

Deep reinforcement learning algorithms require large amounts of experience to learn an individual task. While in principle meta-reinforcement learning (meta-RL) algorithms enable agents to learn new skills from small amounts of experience, several major challenges preclude their practicality. Current methods rely heavily on on-policy experience, limiting their sample efficiency. The also lack mechanisms to reason about task uncertainty when adapting to new tasks, limiting their effectiveness in sparse reward problems. In this paper, we address these challenges by developing an off-policy meta-RL algorithm that disentangles task inference and control. In our approach, we perform online probabilistic filtering of latent task variables to infer how to solve a new task from small amounts of experience. This probabilistic interpretation enables posterior sampling for structured and efficient exploration. We demonstrate how to integrate these task variables with off-policy RL algorithms to achieve both meta-training and adaptation efficiency. Our method outperforms prior algorithms in sample efficiency by 20-100X as well as in asymptotic performance on several meta-RL benchmarks.

研究の動機と目的

• メタRLにおけるサンプル効率の不足を、オフポリシー学習への転換で解消する。
• 確率的潜在コンテキストを介してオンラインでタスク不確実性を推定し、構造化探索を可能にする。
• タスク推定と制御を分離し、効率的なメタ訓練を伴うオフポリシーRLを活用する。
• テスト時にタスクコンテキスト上の事後サンプリングを通じて、軌跡レベルでの迅速な適応を実現する。

提案手法

• ポリシーを条件付ける確率的潜在コンテキスト Z を導入する: π(a|s,z)。
• 最近の経験 c から事後 p(z|c) を推定する、近似的変分エンコーダ qφ(z|c) を用いる。
• 個々の遷移に対するガウス因子の積として、順列不変エンコーダでコンテキストをモデル化する。
• テスト時に qφ(z|c) から z をサンプルしてエピソード間固定し、構造化探索を可能にする。
• エンコーダをアクター/クリティックとは別にオフポリシー データで訓練し、アクター/クリティックは SAC に類似した目的で更新する。
• context sampling を RL データ収集から分離するオフポリシー・メタRL フレームワーク（アルゴリズム 1）に基づいてアプローチを地固めする。

実験結果

リサーチクエスチョン

• RQ1 オフポリシーなメタ訓練を効率良く行いつつ、新しいタスクへの迅速な適応を維持するにはどうすればよいか。
• RQ2 確率的潜在コンテキストは、スパース報酬・ unseen タスク設定で効果的な長期探索を可能にするか。
• RQ3 タスク推定と制御を分離することは、メタRLにおけるサンプル効率と最終性能をどの程度改善するか。
• RQ4 タスクコンテクスト上の事後サンプリングは、メタRLにおける探索手法を従来法と比較してどう変えるか。
• RQ5 エンコーダとポリシーの訓練におけるオフポリシー学習のデータサンプリング戦略は何か。

主な発見

• PEARL は、従来のメタRL 手法と比較してメタ訓練サンプル効率を20-100X向上させる。
• PEARL は6つの連続制御メタ学習ベンチマークで漸近的な性能を大幅に向上させる。
• 潜在タスクコンテキスト上の事後サンプリングは長期的な探索を可能にし、スパース報酬タスクでの迅速な適応を支援する。
• Context 推定をアクター・クリティックから分離することで、メタ訓練とメタテスト間の分布ミスマッチを最小化し、効果的なオフポリシー・メタ訓練を実現する。
• 確率的な潜在コンテキストは、スパース報酬下での探索に不可欠であり、決定論的コンテキストバリアントおよび従来法よりもスパースナビゲーションタスクで優れている。