[論文レビュー] An Efficient Transfer Learning Framework for Multiagent Reinforcement Learning

Tianpei Yang, Weixun Wang+10 more|arXiv (Cornell University)|Feb 19, 2020

Reinforcement Learning in Robotics被引用数 10

ひとこと要約

本論文は、マルチエージェント強化学習の効率を向上させるために、エージェント間のポリシー転送をオプション学習問題としてモデル化するマルチエージェントポリシートランスファーフレームワーク（MAPTF）を提案する。部分観測下における一貫しない局所的経験に対処するためにSuccessor Representation Option（SRO）学習を用いることで、MAPTFはポリシー再利用の適応的選択と終了を可能とし、既存のディープRL手法と組み合わせることで、離散的および連続的環境において顕著な性能向上を達成する。

ABSTRACT

Transfer Learning has shown great potential to enhance single-agent Reinforcement Learning (RL) efficiency. Similarly, Multiagent RL (MARL) can also be accelerated if agents can share knowledge with each other. However, it remains a problem of how an agent should learn from other agents. In this paper, we propose a novel Multiagent Policy Transfer Framework (MAPTF) to improve MARL efficiency. MAPTF learns which agent's policy is the best to reuse for each agent and when to terminate it by modeling multiagent policy transfer as the option learning problem. Furthermore, in practice, the option module can only collect all agent's local experiences for update due to the partial observability of the environment. While in this setting, each agent's experience may be inconsistent with each other, which may cause the inaccuracy and oscillation of the option-value's estimation. Therefore, we propose a novel option learning algorithm, the successor representation option learning to solve it by decoupling the environment dynamics from rewards and learning the option-value under each agent's preference. MAPTF can be easily combined with existing deep RL and MARL approaches, and experimental results show it significantly boosts the performance of existing methods in both discrete and continuous state spaces.

研究の動機と目的

• マルチエージェント強化学習（MARL）における複数エージェント間の知識転送の非効率性に取り組むこと。
• 部分観測性による一貫しない局所的経験が原因で生じる不安定性と不正確さを克服すること。
• 動的にどのエージェントのポリシーを再利用するか、およびいつ終了するかを制御できる、適応的かつスケーラブルなポリシートランスファーフレームワークを開発すること。
• 広範な適用性を実現するため、既存のディープ強化学習およびMARLアルゴリズムとのシームレスな統合を可能にすること。
• 原理的ポリシートランスファーを通じて、離散的および連続的状態空間におけるサンプル効率の向上と学習速度の向上を達成すること。

提案手法

• MAPTFは、各エージェントが他のエージェントのポリシーをオプションとして選択・利用する、マルチエージェントポリシートランスファをオプション学習問題としてモデル化する。
• ポリシー再利用を停止するタイミングを決定することで、負の転送を防ぐために終了確率メカニズムを導入する。
• 部分観測下における一貫しない局所的経験に対処するため、MAPTFは環境ダイナミクスと報酬を分離し、各エージェントの個々の好みに応じたオプション価値を学習するSuccessor Representation Option（SRO）学習を採用する。
• SROアルゴリズムは、各エージェントのポリシー下での状態訪問パターンを捉える成功者表現を学習し、経験の乖離にもかかわらず堅牢なオプション価値推定を可能にする。
• 時間に応じて減衰する重み因子 $ f(t) = 0.5 + \tanh(3 - \mu t)/2 $ を用いた重み付きポリシー模倣目的関数を採用し、エージェントが経験を積むにつれて転送が徐々に減少するようにする。
• MAPTFは、既存のMARLおよびディープRLアルゴリズムと互換性があり、性能向上のためのプラグアンドプレイ統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント強化学習において、複数エージェント間で知識を効率的かつ適応的に転送する方法は何か？
• RQ2 部分観測性によりエージェントが一貫しない局所的経験を持つ場合、安定的かつ正確なオプション価値推定を保証するメカニズムは何か？
• RQ3 負の転送を避けながら学習効率を最大化するため、ポリシートランスファを動的に制御する方法は何か？
• RQ4 既存のディープRLおよびMARLアルゴリズムとアーキテクチャの変更なしに統合可能な、転送フレームワークを設計できるか？
• RQ5 適応的ポリシートランスファは、離散的および連続的状態空間において、どの程度サンプル効率とパフォーマンスを向上させるか？

主な発見

• MAPTFは、離散的および連続的状態空間の両方において、既存のMARL手法の学習パフォーマンスを顕著に向上させる。
• Successor Representation Option（SRO）学習は、部分観測設定下での一貫しない局所的経験に起因するオプション価値推定の不安定性と不正確さを効果的に緩和する。
• 時間に応じて減衰する重み因子を用いた適応的転送メカニズムにより、負の転送が低減され、収束安定性が向上する。
• DVM、LTCR、PATなどのベースライン手法と比較して、より高いサンプル効率と高速な収束を達成する。
• MAPTFは、さまざまなディープ強化学習およびMARLアルゴリズムとのシームレスな統合が可能であり、優れた汎化性能と互換性を示す。
• 実験結果から、特に複雑で部分観測な環境において、MAPTFは既存の転送学習ベースラインを上回ることが示された。