[論文レビュー] Concurrent Meta Reinforcement Learning

Emilio Parisotto, Soham Ghosh+4 more|arXiv (Cornell University)|Mar 7, 2019

Reinforcement Learning in Robotics参考文献 24被引用数 14

ひとこと要約

本稿では、複数エージェントが通信・協調して探索を行うことで、サンプル効率を向上させる並列的マルチエージェントフレームワーク「Concurrent Meta-Reinforcement Learning (CMRL)」を提案する。長時間スパンの報酬割り当て問題をマルチエージェント協調問題に変換することで、特に高次元状態空間と部分的に観測可能な環境において、ERL2のような逐次的手法よりも優れた探索性能とより速い適応を達成する。

ABSTRACT

State-of-the-art meta reinforcement learning algorithms typically assume the setting of a single agent interacting with its environment in a sequential manner. A negative side-effect of this sequential execution paradigm is that, as the environment becomes more and more challenging, and thus requiring more interaction episodes for the meta-learner, it needs the agent to reason over longer and longer time-scales. To combat the difficulty of long time-scale credit assignment, we propose an alternative parallel framework, which we name "Concurrent Meta-Reinforcement Learning" (CMRL), that transforms the temporal credit assignment problem into a multi-agent reinforcement learning one. In this multi-agent setting, a set of parallel agents are executed in the same environment and each of these "rollout" agents are given the means to communicate with each other. The goal of the communication is to coordinate, in a collaborative manner, the most efficient exploration of the shared task the agents are currently assigned. This coordination therefore represents the meta-learning aspect of the framework, as each agent can be assigned or assign itself a particular section of the current task's state space. This framework is in contrast to standard RL methods that assume that each parallel rollout occurs independently, which can potentially waste computation if many of the rollouts end up sampling the same part of the state space. Furthermore, the parallel setting enables us to define several reward sharing functions and auxiliary losses that are non-trivial to apply in the sequential setting. We demonstrate the effectiveness of our proposed CMRL at improving over sequential methods in a variety of challenging tasks.

研究の動機と目的

• 複雑な環境における長時間スパンの報酬割り当ての困難さに起因する、逐次的メタ強化学習手法のスケーラビリティの限界を解消すること。
• マルチエージェント間の通信を活用することで、並列的かつ協調的な探索を可能にし、少数のサンプルでの強化学習におけるサンプル効率を向上させること。
• 並列的・マルチエージェント環境でのみ実現可能な、新しい報酬共有メカニズムおよび補助損失を設計すること。
• 並列的なロールアウトにより有効なメタホライズンを短縮することで、メタ最適化における長時間にわたる誤差逆伝播の依存度を低減すること。
• 通信を伴う並列実行が、逐次的手法よりも多様で効果的な探索を実現することを示すこと。

提案手法

• 同じ環境と複数の並列ロールアウトエージェントを用い、共有される通信プロトコルを通じて探索を協調的に制御する。
• 各エージェントは状態空間の一部を担当して探索を行い、通信により有望な領域の情報を共有することで、重複したサンプリングを回避する。
• Max-Until-Exploit や StDev-Until-Exploit といった報酬共有スキームの組み合わせを採用し、高リスク探索を促進するとともに、外部報酬信号を保持する。
• エージェント間の行動の多様性を促進するため、分散補助損失を導入し、早期収束を防ぎ、探索効率を向上させる。
• メタ学習のコンponentは通信プロトコルに埋め込まれており、エージェントは共有経験に基づいて探索戦略の協調を学習する。
• A2Cスタイルのポリシー最適化を用い、エントロピー正則化を適用し、通信はアテンションメカニズムまたはメッセージパッシング層によって実装する。

実験結果

リサーチクエスチョン

• RQ1 並列的マルチエージェントフレームワークは、逐次的手法に比べてメタ強化学習におけるサンプル効率を向上させることができるか？
• RQ2 並列エージェント間の通信は、部分的に観測可能な環境における探索の多様性と収束速度にどのように影響を与えるか？
• RQ3 並列実行に特化して設計された新しい報酬共有スキームは、長時間スパンのタスクにおいて、従来の逐次的報酬形状化を上回る性能を発揮できるか？
• RQ4 分散正則化のような補助損失は、メタラーナーのパフォーマンス向上にどの程度寄与するか？
• RQ5 並列設定により、長時間にわたる誤差逆伝播の必要性が低下し、トレーニングの安定性が向上するか？

主な発見

• CMRLは4本腕リーチャ環境において、ERL2を著しく上回る探索効率を示し、ユニークなゴール位置の訪問数が30%増加し、高報酬領域の訪問頻度が40%増加した。
• Max+StDev-Until-Exploit の報酬スキームの混合は、個別スキームと同等の性能を達成し、ハイパーパramータチューニングへのロバストネスを示した。
• 報酬共有スキームを削除すると性能が低下したが、分散補助損失のおかげで依然としてERL2を上回った。これは、探索の多様性を促進する役割を果たしていることを示している。
• 分散補助損失を削除した場合、実行時の報酬が急激に低下し、最終的な報酬がほぼゼロに近づいた。これは、この損失が効果的な探索を維持するために極めて重要な役割を果たしていることを示している。
• Max-Until-Exploit CMRLは補助損失なしで最適な探索ポリシーを達成でき、より良いエントロピーのハイパーパramータチューニングにより性能を回復可能であることが示された。
• 10マウントイホール環境では、すべてのコンponentsを備えたCMRLが最高の実行報酬を達成し、通信、報酬共有、補助損失の相乗効果を実証した。