[論文レビュー] Modelling the Dynamic Joint Policy of Teammates with Attention Multi-agent DDPG

Hangyu Mao, Zhengchao Zhang+2 more|arXiv (Cornell University)|Nov 13, 2018

Reinforcement Learning in Robotics参考文献 28被引用数 53

ひとこと要約

ATTention MADDPG は、協調的なマルチエージェントタスクにおける味方の動的な共同方針を明示的にモデル化するために中央批評家とアテンション機構を拡張した Deep Deterministic Policy Gradient（DDPG）であり、スケーラビリティとロバストネスを向上させる。

ABSTRACT

Modelling and exploiting teammates' policies in cooperative multi-agent systems have long been an interest and also a big challenge for the reinforcement learning (RL) community. The interest lies in the fact that if the agent knows the teammates' policies, it can adjust its own policy accordingly to arrive at proper cooperations; while the challenge is that the agents' policies are changing continuously due to they are learning concurrently, which imposes difficulty to model the dynamic policies of teammates accurately. In this paper, we present \\emph{ATTention Multi-Agent Deep Deterministic Policy Gradient} (ATT-MADDPG) to address this challenge. ATT-MADDPG extends DDPG, a single-agent actor-critic RL method, with two special designs. First, in order to model the teammates' policies, the agent should get access to the observations and actions of teammates. ATT-MADDPG adopts a centralized critic to collect such information. Second, to model the teammates' policies using the collected information in an effective way, ATT-MADDPG enhances the centralized critic with an attention mechanism. This attention mechanism introduces a special structure to explicitly model the dynamic joint policy of teammates, making sure that the collected information can be processed efficiently. We evaluate ATT-MADDPG on both benchmark tasks and the real-world packet routing tasks. Experimental results show that it not only outperforms the state-of-the-art RL-based methods and rule-based methods by a large margin, but also achieves better performance in terms of scalability and robustness.

研究の動機と目的

• 協調的マルチエージェントシステムにおける味方の動的に変化するポリシーをモデリングするという課題を動機づけ、対処する。
• ジョイント味方ポリシーを捉えるために、集中型注意ベースの批評家を備えた、スケーラブルで分散型のアクターを提案する。
• 連続アクションを持つマルチエージェントタスクにおける効果的な協調を可能にするための適応的ポリシーモデリング。
• 実世界のルーティングやベンチマークタスクで、性能、スケーラビリティ、ロバストネスの改善を実証する。

提案手法

• すべてのエージェントの観測と行動にアクセスする集中型批評家を備えた DDPG を拡張する。
• さまざまな味方の行動に対する行動条件付き Q 値を推定する K-ヘッドモジュールを導入する。
• ソフトアテンション機構を適用して、行動条件付き Q 値を文脈的 Q 値に重み付けする。
• アテンション重み付け集約を用いて、すべての結合行動を明示的にモデリングせずに味方の共同ポリシー分布を近似する。
• 多次元の文脈的 Q 値をスカラーの Q 値に変換して標準の TD 学習を行う（連続アクション用の K-ヘッド適応を伴う）。
• 集中訓練・分散実行パラダイムのもとでエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 集中型批評家とアテンションを用いて、協調的 MARL における味方の動的な共同ポリシーをどのようにモデル化できるか？
• RQ2 ATT-MADDPG は、連続アクションを持つマルチエージェントタスクにおいて、学習の安定性、スケーラビリティ、性能を最先端手法より改善するか？
• RQ3 小さな K-ヘッドのアテンション構造は、類似した味方の行動を効果的にグループ化して共同ポリシー分布を近似できるか？
• RQ4 味方ポリシーの変化に対するロバストネスに対するアテンション機構の影響は何か？

主な発見

• ATT-MADDPG は、実世界のパケットルーティングとベンチマークタスクの双方で、最先端の RL ベースおよびルールベース手法を上回る。
• アテンション機構は、エージェント数の増加に特に伴って、スケーラビリティとロバストネスを向上させる。
• K-head モジュールは類似した味方の行動をグループ化でき、共同ポリシーの効率的な近似を可能にする。
• 強い性能には、K-head モジュールとアテンションの組み合わせが必要（K-head のみでは不十分）。
• 実験は、テストされたトポロジーでMADDPGおよびPSMADPGV2と比較してより良い報酬結果と協調を示している。