[論文レビュー] Deep Decentralized Multi-task Multi-Agent Reinforcement Learning under Partial Observability

Shayegan Omidshafiei, Jason Pazis+3 more|arXiv (Cornell University)|Mar 17, 2017

Reinforcement Learning in Robotics参考文献 39被引用数 188

ひとこと要約

本論文は、部分観測下でのマルチタスクマルチエージェント強化学習（MT-MARL）を形式化し、二段階の分散化アプローチを提案する。並行エクスペリエンスリプレイとヒステリックDRQNを用いた単一タスク学習を行い、次に統一されたマルチタスクポリシーへの蒸留を行う。明示的なタスクIDなしで、頑健性と協調性を示す。

ABSTRACT

Many real-world tasks involve multiple agents with partial observability and limited communication. Learning is challenging in these settings due to local viewpoints of agents, which perceive the world as non-stationary due to concurrently-exploring teammates. Approaches that learn specialized policies for individual tasks face problems when applied to the real world: not only do agents have to learn and store distinct policies for each task, but in practice identities of tasks are often non-observable, making these approaches inapplicable. This paper formalizes and addresses the problem of multi-task multi-agent reinforcement learning under partial observability. We introduce a decentralized single-task learning approach that is robust to concurrent interactions of teammates, and present an approach for distilling single-task policies into a unified policy that performs well across multiple related tasks, without explicit provision of task identity.

研究の動機と目的

• 部分観測下での分散型独立学習者を前提とするMT-MARLを形式化する。
• 味方の非定常性に頑健な安定した単一タスクMARL法を開発する。
• MAR Lにおける経験の同期共有のためにConcurrent Experience Replay Trajectories (CERTs) を導入する。
• 明示的なタスクIDなしで、専用の単一タスクポリシーを統一されたマルチタスクポリシーへ蒸留する。
• さまざまなタスク設定を横断する多agentターゲットキャプチャ領域で有効性を示す。

提案手法

• 部分観測MARLにおけるQ値をヒステリック学習率とともに学習するために、Decentralized Hysteretic Deep Recurrent Q-Networks (Dec-HDRQNs) を用いる。
• 安定した学習のために、エピソード全体の経験をエージェント間で同期する Concurrent Experience Replay Trajectories (CERTs) を導入する。
• 部分観測下での学習を安定化させるため、逐次トレースと後方タイムステップサンプリングを用いてDRQNを訓練する。
• フェーズ II では、Q値に対する教師あり回帰を用いて、温和化されたKLダイバージェンス損失を用いて、複数のタスク特化DRQNを単一の蒸留DRQNへ蒸留する。
• 蒸留中には回帰エクスペリエンスを格納するために同時CERTsを使用するが、学習は同時サンプリングではなく監視学習で行う。
• タスクIDが訓練中には学習者に与えられるが実行時には与えられない、共有Dec-POMDPドメインから引かれるタスクを用いてMT-MARL問題を定式化する。

実験結果

リサーチクエスチョン

• RQ1 明示的なタスクIDなしに、部分観測下で分散型の独立学習者がMT-MARLで協調的なポリシーを達成できるか？
• RQ2 味方の非定常性を伴うDec-POMDP MARLにおいて、ヒステリック学習は安定性と協調を向上させるか？
• RQ3 単一タスクの専門ポリシーは、関連タスク全般に一般化する統一されたマルチタスクポリシーへ蒸留できるか？
• RQ4 同期化された経験サンプル（CERTs）は、多エージェント学習におけるサンプル効率と安定性にどのような役割を果たすか？
• RQ5 提案手法であるMT-MARLは、さまざまなタスク構成を持つ多エージェントターゲットキャプチャ領域でどのように性能を発揮するか？

主な発見

• Dec-HDRQNは、非ヒステリックな手法が失敗する多エージェント部分観測下での安定した協調を可能にする。
• CERTsは同期化された経験を提供し、分散型MAR Lにおけるサンプル効率と安定性を向上させる。
• 蒸留されたマルチタスクDRQNは、専門タスクの性能に密接に一致し、実行時に明示的なタスクIDがなくても統一ポリシーを可能にする。
• フェーズIの専門化とフェーズIIの蒸留を組み合わせると、さまざまなグリッドサイズとタスク割り当てにわたって頑健なMT-MARL性能が得られる。
• ヒステリック学習率は、協調MARLにおける味方の探索によるネガティブ転送と不安定化を緩和するのに役立つ。
• Centralized inter-agent training with parameter sharing did not improve performance compared to fully decentralized hysteretic learning