[論文レビュー] Collaboration of AI Agents via Cooperative Multi-Agent Deep Reinforcement Learning

Niranjan Balachandar, Justin Dieter+1 more|arXiv (Cornell University)|Jun 30, 2019

Reinforcement Learning in Robotics参考文献 5被引用数 8

ひとこと要約

本論文は、グリッドサッカーにおける協調的AIエージェントの訓練を目的として、パラメータ共有、通信を伴う協調学習、および反事後的方策勾配といった協調的マルチエージェント深層強化学習手法を提案する。通信を伴う協調学習手法が最も高い性能を示し、手動で作成されたチームに対して94.5％の試合で得点を記録し、敵対的訓練では75％の得点率を示した。これは、他の手法と比較して優れた適応性とチームワークを示している。

ABSTRACT

There are many AI tasks involving multiple interacting agents where agents should learn to cooperate and collaborate to effectively perform the task. Here we develop and evaluate various multi-agent protocols to train agents to collaborate with teammates in grid soccer. We train and evaluate our multi-agent methods against a team operating with a smart hand-coded policy. As a baseline, we train agents concurrently and independently, with no communication. Our collaborative protocols were parameter sharing, coordinated learning with communication, and counterfactual policy gradients. Against the hand-coded team, the team trained with parameter sharing and the team trained with coordinated learning performed the best, scoring on 89.5% and 94.5% of episodes respectively when playing against the hand-coded team. Against the parameter sharing team, with adversarial training the coordinated learning team scored on 75% of the episodes, indicating it is the most adaptable of our methods. The insights gained from our work can be applied to other domains where multi-agent collaboration could be beneficial.

研究の動機と目的

• 協調的タスクにおけるAIエージェント間の効果的な協力が可能なマルチエージェント強化学習プロトコルの開発と評価を目的とする。
• 強力な手動ベースラインと比較して、分散型手法（パラメータ共有、通信を伴う協調学習、反事後的方策勾配）がグリッドサッカー環境でどのように性能を発揮するかを比較する。
• 敵対的訓練条件下での適応性、一般化性能、および性能を評価する。
• 特化性、通信、耐障害性のバランスが取れたマルチエージェント協力において、どの手法が最良かを同定する。

提案手法

• 10×18グリッド上での3人チームを想定したグリッドサッカーシミュレータで、経験再生とターゲットネットワークを用いた深層Qネットワーク（DQN）を用いてエージェントを訓練した。
• すべてのエージェントが同じ方策ネットワークを共有するパラメータ共有を実装し、明示的な通信なしに共同学習を可能にした。
• エージェントが観測値と行動を共有して共同状態表現を形成する通信を伴う協調学習を適用し、協調性を向上させた。
• 中央集権的価値関数を計算し、反事後的アドバンテージ関数を用いて個々の行動に責任を割り当てる反事後的方策勾配（COMA）を用いた。
• 共同行動のQ値を推定する中央集権的クライアントネットワークを採用し、分散型方策を維持したまま責任割り当てを可能にした。
• 反事後的アドバンテージを用いた方策更新を適用した：$ A^a(s, \mathbf{u}) = Q(s, \mathbf{u}) - \sum_{u^{\prime a}} \pi^a(u^{\prime a}|\tau^a) Q(s, (\mathbf{u}^{-a}, u^{\prime a})) $。

実験結果

リサーチクエスチョン

• RQ1 グリッドサッカーのような協調的ゲームにおいて、協力するように訓練する際、異なるマルチエージェント深層強化学習手法の性能はどのように比較されるか？
• RQ2 通信機能や責任割り当て機構を備えた分散型手法は、独立学習やパラメータ共有よりも協調的タスクで優れた性能を発揮できるか？
• RQ3 安定性、適応性、最終的性能の観点から、通信を伴う協調学習と反事後的方策勾配の性能はどのように比較されるか？
• RQ4 通信を伴う協調学習で訓練されたチームは、敵対的訓練シナリオにおいて、他の学習済みチームに比べてどれほど適応し、上回ることができるか？

主な発見

• 通信を伴う協調学習手法は、手動で作成されたチームに対して94.5％のゴール率を達成し、他のすべての手法を上回った。
• パラメータ共有チームとの敵対的訓練において、通信を伴う協調学習チームは75％の試合で得点を記録し、優れた適応性と耐障害性を示した。
• 同時学習手法はチームワークが著しく悪く、1人のエージェントが役割を独占し、他のエージェントはほとんど学習しなかった。
• 反事後的方策勾配手法は速やかに収束したが、ローカル最適解に陥り、攻撃に特化し、守備を無視する傾向を示した。
• パラメータ共有はほぼ完璧な性能を達成したが、トレーニング中にわずかな不安定性を示し、時間経過とともに性能が変動した。
• 通信を伴う協調学習手法は学習が最も遅かったが、安定してほぼ最適な性能に収束し、優れた長期的学習と協調性を示した。