[論文レビュー] MetaCURE: Meta Reinforcement Learning with Empowerment-Driven Exploration

Jin Zhang, Jianhao Wang+5 more|arXiv (Cornell University)|Jun 15, 2020

Reinforcement Learning in Robotics参考文献 40被引用数 9

ひとこと要約

MetaCUREは、探索と活用のポリシーを分離し、タスク同定のための情報量の増加を最大化するエンパワーメント駆動の内因的報酬を用いる、新しいオフポリシーmeta-RLフレームワークを提案する。MetaCUREは、メタトレーニングおよび適応段階の両方で、効率的で文脈に配慮した探索を可能にすることで、スパarsely-rewarded MuJoCoおよびMeta-Worldタスクで最先端の性能を達成する。

ABSTRACT

Meta reinforcement learning (meta-RL) extracts knowledge from previous tasks and achieves fast adaptation to new tasks. Despite recent progress, efficient exploration in meta-RL remains a key challenge in sparse-reward tasks, as it requires quickly finding informative task-relevant experiences in both meta-training and adaptation. To address this challenge, we explicitly model an exploration policy learning problem for meta-RL, which is separated from exploitation policy learning, and introduce a novel empowerment-driven exploration objective, which aims to maximize information gain for task identification. We derive a corresponding intrinsic reward and develop a new off-policy meta-RL framework, which efficiently learns separate context-aware exploration and exploitation policies by sharing the knowledge of task inference. Experimental evaluation shows that our meta-RL method significantly outperforms state-of-the-art baselines on various sparse-reward MuJoCo locomotion tasks and more complex sparse-reward Meta-World tasks.

研究の動機と目的

• スパarsely-rewarded設定下でのmeta-RLにおける効率的探索の課題に対処すること。この設定では、タスク関連の情報が乏しい。
• 探索ポリシーの学習と活用ポリシーの学習を分離し、有益な経験を収集するための集中学習を可能にすること。
• 収集された経験とタスク同定との間の相互情報量を最大化する、新しいエンパワーメント駆動の探索目的関数を設計すること。
• アクションごとのモデル予測誤差の差異に基づいて、内因的報酬を導出することで、メタトレーニングおよび適応段階の両方で効果的な探索を誘導すること。
• 探索と活用ポリシーの両方でタスク推論を共有する統合的でオフポリシーなmeta-RLフレームワークを構築し、学習効率を向上させること。

提案手法

• 探索軌道とタスクアイデンティティとの間の相互情報量を最大化するエンパワーメント駆動の探索目的関数を定式化する。
• アクション間でのモデル予測誤差の差異に基づいて、探索目的関数から内因的報酬を導出する。
• 探索と活用の両方のポリシーを文脈に配慮して学習する新しいオフポリシーmeta-RLフレームワーク、MetaCUREを開発する。
• 探索と活用ポリシーの両方で共通のタスク推論モジュールを共有することで、サンプル効率と知識の転送を向上させる。
• 適応段階では確率的タスク推論を用い、探索ポリシーがエピソード全体にわたり逐次的な探索行動を実行する。
• 適応段階では内因的報酬を用いて探索ポリシーを高情報量の経験へ誘導し、同時に活用ポリシーは最終エピソードにおける外因的報酬最適化を目的とする。

実験結果

リサーチクエスチョン

• RQ1 タスク同定のための情報量に基づく内因的報酬は、スパarsely-rewardedなmeta-RLにおける探索効率を向上させるか？
• RQ2 探索と活用のポリシーを分離することで、スパarsely-rewardedな条件下でのmeta-RL性能が向上するか？
• RQ3 タスクアイデンティティとの相互情報量を最大化するエンパワーメント駆動の目的関数は、タスク推論と適応速度を向上させるか？
• RQ4 MetaCUREは、スパarsely-rewardedなMuJoCoおよびMeta-Worldタスクにおけるサンプル効率と最終パフォーマンスの面で、最先端のベースラインと比較してどうなるか？
• RQ5 予測誤差の差異から導出される内因的報酬は、メタトレーニングおよび適応段階の両方で、効果的な探索を促進する程度はどの程度か？

主な発見

• MetaCUREは、さまざまなスパarsely-rewarded MuJoCoロケーションタスクで最先端のベースラインを顕著に上回り、優れたサンプル効率と最終パフォーマンスを達成する。
• 本手法は、より複雑なスパarsely-rewardedなMeta-Worldタスクにおいても強力な一般化性能を示し、従来のmeta-RLアプローチが制限された探索により苦戦する状況でも有効である。
• アブレーションスタディの結果、内因的報酬部が性能に不可欠であることが確認され、その除去により顕著なパフォーマンス低下が生じた。
• 可視化結果から、MetaCUREの探索ポリシーは、ランダムまたは非構造的な探索とは異なり、タスク関連の情報を体系的に収集する構造的かつ逐次的な行動を実行していることが示された。
• 探索と活用のポリシーの分離により、特にデータが少ない状況下でも、より速い適応とより安定した学習が可能になった。
• 予測誤差の差異から導出される内因的報酬は、情報量の増加を効果的に測定できており、エージェントがタスク同定に最も有益な経験をもたらす行動に集中できるようにしている。