[論文レビュー] ACE: Cooperative Multi-agent Q-learning with Bidirectional Action-Dependency

Chuming Li, Jie Liu+6 more|arXiv (Cornell University)|Nov 29, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、双方向的行動依存性を用いて非定常性問題を解消する協調的マルチエージェント強化学習アルゴリズムACEを提案する。この手法により、逐次的意思決定を用いてマルチエージェントMDPを単一エージェントMDPに変換する。ACEは、SMACにおけるほぼすべてのハードおよびスーパー・ハードマップで100％の勝率を達成し、GRFおよびSMACベンチマークにおいて、サンプル効率と累積報酬の両面で先行手法を著しく上回る最先端の性能を達成する。

ABSTRACT

Multi-agent reinforcement learning (MARL) suffers from the non-stationarity problem, which is the ever-changing targets at every iteration when multiple agents update their policies at the same time. Starting from first principle, in this paper, we manage to solve the non-stationarity problem by proposing bidirectional action-dependent Q-learning (ACE). Central to the development of ACE is the sequential decision-making process wherein only one agent is allowed to take action at one time. Within this process, each agent maximizes its value function given the actions taken by the preceding agents at the inference stage. In the learning phase, each agent minimizes the TD error that is dependent on how the subsequent agents have reacted to their chosen action. Given the design of bidirectional dependency, ACE effectively turns a multiagent MDP into a single-agent MDP. We implement the ACE framework by identifying the proper network representation to formulate the action dependency, so that the sequential decision process is computed implicitly in one forward pass. To validate ACE, we compare it with strong baselines on two MARL benchmarks. Empirical experiments demonstrate that ACE outperforms the state-of-the-art algorithms on Google Research Football and StarCraft Multi-Agent Challenge by a large margin. In particular, on SMAC tasks, ACE achieves 100% success rate on almost all the hard and super-hard maps. We further study extensive research problems regarding ACE, including extension, generalization, and practicability. Code is made available to facilitate further research.

研究の動機と目的

• 協調的マルチエージェント強化学習（MARL）における非定常性問題に対処すること。これは、エージェントのポリシーが変化することで価値関数の学習が妨げられるためである。
• 共同行動空間の複雑さとポリシーの共進化にもかかわらず、個々の行動価値を正確に推定できる手法を開発すること。
• 双方向依存性を用いた逐次的意思決定により、協調的マルチエージェントMDPを単一エージェントMDPに変換すること。
• Google Research FootballやStarCraft Multi-Agent ChallengeなどのMARLベンチマークにおいて、サンプル効率、収束性、一般化性能を向上させること。
• CTDEフレームワークへの統合と分散実行のサポートにより、実用的導入を可能とすること。

提案手法

• ACEは、各エージェントが逐次的に行動するように設計された逐次的拡張MDP（SE-MDP）を定式化する。状態の拡張は先行行動に基づき、MMDPを単一エージェントMDPに効果的に変換する。
• 双方向行動依存性を導入する：前向き依存性（価値が先行行動に依存）と後向き依存性（ターゲットが後続エージェントの反応に依存）である。
• SE状態はユニット埋め込みと行動埋め込みの加法的結合により表現され、1回の順伝播ですべての中間状態を効率的に計算可能である。
• 相互作用に配慮した行動埋め込みを導入し、エージェント間の相互作用をモデル化することで、価値推定とポリシー性能を向上させる。
• 標準的なQ学習およびアクタークリティックフレームワーク（例：PPO）と互換性があり、共同行動価値を個々の価値関数に蒸留することで実現される。
• ACE-CTDEでは、反事後的蒸留技術を用いて共同行動知識を分散型個別ポリシーに転送し、IGM性質を保持する。

実験結果

リサーチクエスチョン

• RQ1 双方向行動依存性を用いることで、MMDPを単一エージェントMDPに変換することにより、協調的MARLにおける非定常性問題を効果的に解消できるか？
• RQ2 複雑なベンチマークにおいて、QMIX や MAPPO などの最先端MARLアルゴリズムと比較して、ACEの性能とサンプル効率はどの程度か？
• RQ3 固定構成で学習した場合に、異なるエージェント数を有する新しいタスクへACEがどの程度一般化できるか？
• RQ4 逐次的プロセスにおけるエージェントの意思決定順序に対してACEはどの程度頑健か？
• RQ5 分散実行下でも高い性能を維持できるように、ACEをCTDEパラダイムに効果的に適応できるか？

主な発見

• ACEは、StarCraft Multi-Agent Challenge（SMAC）のほぼすべてのハードおよびスーパー・ハードマップで100％の勝率を達成し、既存手法を著しく上回る。
• Google Research Footballでは、累積報酬が優れており、SOTAアルゴリズムと比較してサンプル効率が最大500％向上した。
• ACEは優れた一般化性能を示しており、微調整なしに異なるエージェント数の新規マップへも高い性能を維持する。
• 相互作用に配慮した行動埋め込みは性能に顕著な寄与を示しており、これを除いた場合（ACE-w/o-IA vs. ACE）に性能が著しく低下することが確認された。
• エージェントの順序に対してACEは頑健であり、シャッフル済みとソート済みの意思決定シーケンスの間で性能差は最小限にとどまる。
• ACE-CTDEは分散実行下でも完全なACEとほぼ同等の性能を達成しており、反事後的蒸留がIGM性質を保持する有効性を裏付けた。