[論文レビュー] Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling

Russell Mendonca, Xinyang Geng+2 more|arXiv (Cornell University)|Jun 12, 2020

Reinforcement Learning in Robotics参考文献 33被引用数 18

ひとこと要約

本稿では、勾配降下法を用いた勾配ベースの教師ありメタラーニングにより、タスク固有の動的および報酬関数を符号化するコンテキスト変数を推定することで、迅速な適応を可能にするモデル同定を用い、その後、経験の再ラベル付けによる合成データの生成によってポリシーのファインチューニングを実現する、メタ強化学習アルゴリズムMIERを提案する。MIERは、HalfCheetahおよびAnt環境における分布外タスクにおいて、MAML、PEARL、GrBALを上回る性能を示し、特に動的および報酬関数の外挿設定において顕著な優位性を示す。

ABSTRACT

Reinforcement learning algorithms can acquire policies for complex tasks autonomously. However, the number of samples required to learn a diverse set of skills can be prohibitively large. While meta-reinforcement learning methods have enabled agents to leverage prior experience to adapt quickly to new tasks, their performance depends crucially on how close the new task is to the previously experienced tasks. Current approaches are either not able to extrapolate well, or can do so at the expense of requiring extremely large amounts of data for on-policy meta-training. In this work, we present model identification and experience relabeling (MIER), a meta-reinforcement learning algorithm that is both efficient and extrapolates well when faced with out-of-distribution tasks at test time. Our method is based on a simple insight: we recognize that dynamics models can be adapted efficiently and consistently with off-policy data, more easily than policies and value functions. These dynamics models can then be used to continue training policies and value functions for out-of-distribution tasks without using meta-reinforcement learning at all, by generating synthetic experience for the new task.

研究の動機と目的

• メタテスト時の分布外タスクへの一般化に限界を示すメタRL手法の課題を解決すること。
• オンポリシーのメタトレーニングを回避することで、より高いデータ効率を実現する、サンプル効率の高いメタRLアプローチの開発。
• 学習済みの動的および報酬モデルを活用して合成経験を生成することで、分布外タスクへの一貫した適応を可能にすること。
• モデルのメタトレーニングとポリシーの適応を分離することで、標準的な非政策強化学習を用いて、再ラベル化されたデータ上でポリシーをファインチューニングすることを可能にすること。

提案手法

• モデル同定は、勾配ベースの教師ありメタラーニングを用いて、タスク固有の動的および報酬関数を符号化するコンテキスト変数を推定し、少数の勾配ステップで迅速な適応を可能にする。
• ポリシーは適応されたコンテキスト変数に条件付けられ、標準的な非政策強化学習で訓練されるため、複雑なメタRLポリシー適応を回避できる。
• 経験の再ラベル付けは、適応された動的モデルを用いて、メタトレーニングタスクで事前に収集されたすべての遷移の次状態と報酬を予測し、合成経験を生成する。
• 再ラベル付けにより得られた合成データを用いて、非政策強化学習によりポリシーをファインチューニングすることで、新しいタスクがメタトレーニング分布外であっても継続的な改善が可能になる。
• 本手法はモデル同定と経験の再ラベル付けを組み合わせており、前者は迅速なタスク適応を、後者は分布外タスクへのロバストな一般化を可能にする。
• ポリシーを再ラベル化されたデータ上で標準的なRLで訓練することで、オンポリシーのメタトレーニングを回避し、サンプル効率とスケーラビリティの両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 オンポリシーのメタトレーニングに依存せずに、メタRL手法が分布外タスクへのロバストな一般化を達成できるか。
• RQ2 動的および報酬モデルを非政策データで一貫して適応させることで、未確認のタスクにおける信頼性の高いポリシーのファインチューニングが可能になるか。
• RQ3 モデルが予測する遷移と報酬を用いた経験の再ラベル付けは、標準的なメタRL手法と比較して、分布外タスクにおけるポリシー性能を向上させるか。
• RQ4 モデル同定と経験の再ラベル付けの組み合わせは、動的および報酬関数のシフトにおける外挿性能において、MAML、PEARL、GrBALと比較してどのように差をつけるか。

主な発見

• MIERは、HalfCheetah-VelocityおよびAnt-Direction環境における分布外タスクにおいて、MAML、PEARL、GrBALを上回る性能を示し、特に報酬関数の外挿設定で顕著な優位性を示す。
• Cheetah-Negated-Jointsタスクでは、MIER-wR（モデル同定のみ）がPEARLおよびMAMLを著しく上回り、完全なMIER（再ラベル付けあり）ではさらなる性能向上が達成された。
• より挑戦的なAnt-Negated-Joints環境では、MIER-wRはPEARLの性能を再現し、再ラベル付けを含むMIERはそれを上回り、経験の再ラベル付けの有効性を示している。
• すべての手法において、タスクがトレーニング分布から離れるほど性能が低下するが、MIERはバリデーションタスクのすべての難易度レベルで一貫して優れた性能を維持している。
• アブレーションスタディにより、経験の再ラベル付けが分布外一般化において不可欠であることが確認され、ハードタスクにおいてMIER-wR（再ラベル付けなし）は完全なMIERより劣る性能を示した。