Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Adaptive Value Decomposition with Greedy Marginal Contribution Computation for Cooperative Multi-Agent Reinforcement Learning

Shanqi Liu, Yujing Hu|arXiv (Cornell University)|Feb 14, 2023
Reinforcement Learning in Robotics被引用数 4
ひとこと要約

本論文は、非単調な協調的タスクを解消するための、適応的価値分解と貪欲な限界寄与計算を用いた、協調的マルチエージェント強化学習のための新しい明示的責任割り当て手法AVGMを提案する。解釈可能でスケーラブルかつ高い性能を発揮する協調行動を複雑な環境で実現する一方で、アクションエンコーダーを用いることで線形時間計算量を維持する。

ABSTRACT

Real-world cooperation often requires intensive coordination among agents simultaneously. This task has been extensively studied within the framework of cooperative multi-agent reinforcement learning (MARL), and value decomposition methods are among those cutting-edge solutions. However, traditional methods that learn the value function as a monotonic mixing of per-agent utilities cannot solve the tasks with non-monotonic returns. This hinders their application in generic scenarios. Recent methods tackle this problem from the perspective of implicit credit assignment by learning value functions with complete expressiveness or using additional structures to improve cooperation. However, they are either difficult to learn due to large joint action spaces or insufficient to capture the complicated interactions among agents which are essential to solving tasks with non-monotonic returns. To address these problems, we propose a novel explicit credit assignment method to address the non-monotonic problem. Our method, Adaptive Value decomposition with Greedy Marginal contribution (AVGM), is based on an adaptive value decomposition that learns the cooperative value of a group of dynamically changing agents. We first illustrate that the proposed value decomposition can consider the complicated interactions among agents and is feasible to learn in large-scale scenarios. Then, our method uses a greedy marginal contribution computed from the value decomposition as an individual credit to incentivize agents to learn the optimal cooperative policy. We further extend the module with an action encoder to guarantee the linear time complexity for computing the greedy marginal contribution. Experimental results demonstrate that our method achieves significant performance improvements in several non-monotonic domains.

研究の動機と目的

  • 従来の単調な価値関数が失敗する非単調な協調的タスクを扱う価値分解手法の限界を解消すること。
  • 貪欲な限界寄与に基づく明示的かつ解釈可能なメカニズムを導入することで、協調的MARLにおける責任割り当てを改善すること。
  • アクションエンコーダーを用いた計算モジュールの設計により、大規模エージェント環境におけるスケーラビリティを確保すること。
  • 実世界の展開、特に安全が重要な応用分野において、ポリシーの解釈可能性と合理性を維持すること。
  • 異なるエージェント数や非単調な報酬構造において、一般化性と頑健性を示すこと。

提案手法

  • 潜在的行動の分布として個々の利得をモデル化する適応的価値分解を提案し、観測可能なエージェントの行動を動的に統合する。
  • 分解された価値関数から貪欲な限界寄与を計算し、各エージェントの共同成果に対する寄与に基づいて明示的な責任割り当てを実現する。
  • 共同行動表現を圧縮するアクションエンコーダーを採用し、限界寄与の計算における線形時間計算量を保証する。
  • 集中型学習と分散型実行（CTDE）を採用し、各エージェントが自らの観測と貪欲な限界寄与に基づいてポリシーを学習する。
  • 分散型実行を可能にするために、個々のグローバル最大（IGM）の原則を適用する。
  • 完全な共同行動空間の列挙を必要とせず、潜在的行動空間を用いてエージェント間の複雑で非単調な相互作用をモデル化する。
Figure 1. Left: The illustration of Eq. ( 1 ). The orange area is the payoff matrixes that can be solved by methods using $Q_{i}(\tau_{i},a_{i})$ as policy. Right: Payoff matrix of the bimanual lifting example.
Figure 1. Left: The illustration of Eq. ( 1 ). The orange area is the payoff matrixes that can be solved by methods using $Q_{i}(\tau_{i},a_{i})$ as policy. Right: Payoff matrix of the bimanual lifting example.

実験結果

リサーチクエスチョン

  • RQ1貪欲な限界寄与による明示的責任割り当ては、非単調な報酬を持つ協調的MARLタスクの学習を改善できるか？
  • RQ2非単調な環境において、AVGMは暗黙的責任割り当て手法と比較してどのように性能を発揮するか？
  • RQ3AVGMにおけるアクションエンコーダーは、大規模なシナリオでも性能を維持しながら線形時間計算量を保つのか？
  • RQ4AVGMは、異なるエージェント数の環境に対してゼロショットで一般化できるか？
  • RQ5AVGMは、協調的タスクにおけるエージェント行動の解釈可能性と合理性をどの程度向上させるか？

主な発見

  • AVGMは、LiftやPursuitのような非単調な環境で顕著な性能向上を達成し、QMIX や VDN などのベースライン手法を上回る。
  • 異なるエージェント数においても安定的かつ一貫性のある学習を示し、最大12エージェントの大型環境でも頑健でスケーラブルであることが確認された。
  • アブレーションスタディの結果、貪欲な限界寄与を除去するか、実際の限界寄与を用いると、非単調なタスクで顕著な性能低下が生じ、その重要性が裏付けられた。
  • アクションエンコーダーのおかげで線形時間計算量が維持され、完全な共同行動空間の列挙が困難な大規模なシナリオにおいてもAVGMが実用可能であることが示された。
  • AVGMは、学習過程を通じて環境状態の一貫した認識と合理的なエージェント行動を示し、強い解釈可能性を維持している。
  • エージェント数が3〜5に変化する環境間でのゼロショット移行において、性能低下が最小限に抑えられ、優れた一般化能力を示した。
Figure 2. The architecture of our method. Left (Blue): The architecture for total Q-values. Middle (Green): The framework of the non-monotonic critic $Q_{c}^{i}(\tau_{i},u_{i}^{-},a_{i})$ . Upper Right (Red): The framework of greedy marginal contribution and $Q_{p}^{i}(\tau_{i},a_{i})$ . Lower Right
Figure 2. The architecture of our method. Left (Blue): The architecture for total Q-values. Middle (Green): The framework of the non-monotonic critic $Q_{c}^{i}(\tau_{i},u_{i}^{-},a_{i})$ . Upper Right (Red): The framework of greedy marginal contribution and $Q_{p}^{i}(\tau_{i},a_{i})$ . Lower Right

より良い研究を、今すぐ始めましょう

論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。