[論文レビュー] Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning

Xiaoteng Ma, Yiqin Yang+4 more|arXiv (Cornell University)|Feb 9, 2021

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

本稿では、報酬関数推定のための共有アテンションメカニズムと、方策学習のための協調的探索モジュールを用いてエージェント相互作用をモデル化する協調的マルチエージェント強化学習アルゴリズム、Interactive Actor-Critic (IAC) を提案する。IAC は協調性、耐障害性、スケーラビリティの向上を図り、特に報酬が疎であり、部分観測が生じる状況下でも、SIAQ や DDPG-MIX といった最先端手法を上回る性能を発揮する。

ABSTRACT

Value-based methods of multi-agent reinforcement learning (MARL), especially the value decomposition methods, have been demonstrated on a range of challenging cooperative tasks. However, current methods pay little attention to the interaction between agents, which is essential to teamwork in games or real life. This limits the efficiency of value-based MARL algorithms in the two aspects: collaborative exploration and value function estimation. In this paper, we propose a novel cooperative MARL algorithm named as interactive actor-critic~(IAC), which models the interaction of agents from the perspectives of policy and value function. On the policy side, a multi-agent joint stochastic policy is introduced by adopting a collaborative exploration module, which is trained by maximizing the entropy-regularized expected return. On the value side, we use the shared attention mechanism to estimate the value function of each agent, which takes the impact of the teammates into consideration. At the implementation level, we extend the value decomposition methods to continuous control tasks and evaluate IAC on benchmark tasks including classic control and multi-agent particle environments. Experimental results indicate that our method outperforms the state-of-the-art approaches and achieves better performance in terms of cooperation.

研究の動機と目的

• 価値ベースのマルチエージェント強化学習におけるエージェント相互作用のモデル化が限定的であることが、協調的探索と価値関数推定を阻害することへの対処。
• 方策および価値関数の両側面でエージェント間の相互依存関係を明示的にモデル化することで、協調的マルチエージェント強化学習における協調的効率の向上。
• 従来のアプローチがスケーラビリティと表現能力に課題を抱える連続的制御タスクに、価値分解手法を拡張すること。
• 報酬が疎であり、部分観測が生じる状況が一般的な現実世界の協調的タスクにおいて、耐障害性とスケーラビリティを向上させること。
• エントロピー正則化付き協調的探索とアテンションベースの共同価値推定を統合する包括的フレームワークの構築。

提案手法

• エージェントの共同確率的方策を、エントロピー正則化付き期待報酬を最大化することで学習する協調的探索モジュールを導入し、協調的な行動を促進する。
• 各エージェントの価値関数を推定するために共有アテンションメカニズムを採用し、チームメイトの行動が共同結果に与える影響を捉える。
• IGM に類似した制約下で、個々の行動価値関数を学習することで、価値分解手法を連続的制御タスクに拡張する。
• 集中型学習と分散型実行（CTDE）フレームワークを採用し、共同方策最適化を扱いやすく保ちつつ、分散型推論を可能にする。
• 個々の報酬と集団的報酬のバランスを取る新たな目的関数として、相互価値関数情報（MVFI）を適用し、協調性を強化する。
• エントロピー最大化によって個々の方策を結合する共同方策学習方式を実装し、多様かつ協調的な探索を促進する。

実験結果

リサーチクエスチョン

• RQ1 協調的マルチエージェント強化学習において、エージェント相互作用を効果的にモデル化することで、協調的探索をどのように改善できるか？
• RQ2 相互価値関数情報を組み込むことで、価値関数推定と方策協調性はどの程度向上するか？
• RQ3 共有アテンションメカニズムにより、マルチエージェント環境におけるチームメイトの依存関係を捉えることで、価値関数推定はどのように改善されるか？
• RQ4 提案手法 IAC は、既存のベースラインと比較して、報酬が疎であり、部分観測が生じる状況下でどのように性能を発揮するか？
• RQ5 協調的探索とアテンションベースの価値推定を統合することで、大規模マルチエージェントタスクにおけるスケーラビリティはどのように向上するか？

主な発見

• 予期せぬ捕食者・獲物タスクにおいて、IAC は SIAQ や DDPG-MIX を上回り、獲物を捕らえるまでのステップ数をそれぞれ 0.295 百万ステップ、0.06 百万ステップ削減した。
• マルチペンダンタスクにおいて、IAC はエージェント数の増加に対しても安定した性能を維持したが、SIAQ は少数のエージェント数を超えてスケーリングに失敗した。
• 部分観測環境（PO-Predator-prey）においても IAC は優れた性能を発揮し、エージェントが 0.8 の距離内での局所的情報しか観測できない状況下でも耐障害性を示した。
• 協調的探索モジュールにより、決定的方策よりも協調性が向上し、より高いエピソード報酬と高速な収束が確認された。
• 共有アテンションメカニズムにより価値関数推定が顕著に改善され、より良い共同行動選択と方策協調性が実現された。
• IAC は安定した方策関係を達成し、マルチペンダンタスクのような対称的タスクではエージェント方策間に正の相関が見られた。これは、効果的な協調性を示している。