[論文レビュー] Counterfactual Multi-Agent Reinforcement Learning with Graph Convolution Communication

Jianyu Su, Stephen Adams+1 more|arXiv (Cornell University)|Apr 1, 2020

Reinforcement Learning in Robotics参考文献 22被引用数 20

ひとこと要約

本稿では、グラフ畳み込み通信と反事実的報酬配分（COMA）を統合したマルチエージェント強化学習フレームワーク、CCOMAを提案する。この手法により、標的型通信と個別化された報酬設計を通じて、エージェントが協調的方策を学習可能となる。CCOMAは、交通交差点や非均質な製造システムを含む動的・静的マルチエージェント環境において、最先端のベースラインを上回る性能を発揮するとともに、解釈可能な通信戦略を可能にする。

ABSTRACT

We consider a fully cooperative multi-agent system where agents cooperate to maximize a system's utility in a partial-observable environment. We propose that multi-agent systems must have the ability to (1) communicate and understand the inter-plays between agents and (2) correctly distribute rewards based on an individual agent's contribution. In contrast, most work in this setting considers only one of the above abilities. In this study, we develop an architecture that allows for communication among agents and tailors the system's reward for each individual agent. Our architecture represents agent communication through graph convolution and applies an existing credit assignment structure, counterfactual multi-agent policy gradient (COMA), to assist agents to learn communication by back-propagation. The flexibility of the graph structure enables our method to be applicable to a variety of multi-agent systems, e.g. dynamic systems that consist of varying numbers of agents and static systems with a fixed number of agents. We evaluate our method on a range of tasks, demonstrating the advantage of marrying communication with credit assignment. In the experiments, our proposed method yields better performance than the state-of-art methods, including COMA. Moreover, we show that the communication strategies offers us insights and interpretability of the system's cooperative policies.

研究の動機と目的

• 協調的マルチエージェント強化学習におけるエージェント間通信と正確な報酬配分の二重的課題に対処すること。
• 柔軟でグラフベースの通信を通じて、エージェント間の相互作用を理解できるようにすること。
• 反事実的推論を用いて個別に報酬を調整することで、学習効率と方策性能を向上させること。
• 変動するエージェント数を伴う動的システムと、固定エージェント数の静的システムにおけるフレームワークの評価を行うこと。
• 提案された学習枠組み下で、学習された通信戦略が意味的で解釈可能であることを示すこと。

提案手法

• フレームワークは、エージェント間の相互作用をモデル化し、エージェント間で標的型で動的通信を可能にするため、グラフ畳み込みネットワーク（GCN）を用いる。
• 各エージェントのグローバルな報酬への貢献に基づいて個別化された報酬を計算するために、中央集権的クライアントと反事実的マルチエージェント方策勾配（COMA）を採用する。
• GCNはエージェント埋め込みとメッセージパッシングを処理し、隣接エージェントの情報をもとに各エージェントの隠れ状態を更新する。
• 共同状態と行動に条件づけられた中央集権的クライアントを用いて、反事実的推論を可能にする方策勾配による学習が行われる。
• 通信はバックプロパゲーションを介してエンドツーエンドで学習され、エージェントが誰と通信するかを動的に選択できるようになる。
• 訓練中にカリキュラム学習が適用され、初期エージェント状態のランダム化によって段階的に環境の複雑さを増加させる。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込み通信は、エージェント数が変動するマルチエージェントシステムにおける協調性を向上させるか？
• RQ2 適応的通信と反事実的報酬配分を組み合わせることで、既存手法よりも優れた性能が得られるか？
• RQ3 報酬配分枠組み下で、エージェントは解釈可能で意味のある通信戦略を学習できるか？
• RQ4 初期状態がランダム化されるような環境の複雑さが増す状況下で、このフレームワークはどのように性能を示すか？
• RQ5 集約的協調が求められる非均質なマルチエージェントシステムへも一般化可能か？

主な発見

• 交通交差点環境において、CCOMAはCOMAおよび他のSOTA手法を上回り、静的および動的チーム設定の両方で高い累積報酬を達成した。
• 製造環境において、CCOMAはCOMAおよび通信付きIQLと比較して、優れた平均累積利益を達成し、複雑で非均質なシステムにおける有効性を示した。
• カリキュラム学習によるランダムネスの導入により、COMAおよび通信付きIQLでは性能が低下したが、CCOMAは安定した学習を維持し、最終的に高パフォーマンスな方策に収束した。
• 通信されたメッセージの分析から、エージェントは構造的でタスク関連の通信戦略を学習していることが判明し、解釈可能で意味のある情報交換が行われていることが示された。
• 中央集権的クライアントと反事実的推論により、完全な状態情報が入手できない状況下でも、効果的な報酬配分が可能となり、エージェントは最適な行動を学習できた。
• 本フレームワークは、エージェント数やシステムダイナミクスの変動が生じる環境においても、強靭性とスケーラビリティを示した。