[論文レビュー] Cooperative Multi-agent RL with Communication Constraints

Nuoya Xiong, Aarti Singh|arXiv (Cornell University)|Jan 18, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

この論文は、協調的マルチエージェント強化学習（MARL）における通信制約下での効率的学習を可能にするベース方策予測を導入し、通信ラウンドの削減とサンプル効率の改善を実現。一般的なマルコフ協調ゲームへの拡張と経験的検証を含む。

ABSTRACT

Cooperative MARL often assumes frequent access to global information in a data buffer, such as team rewards or other agents' actions, which is typically unrealistic in decentralized MARL systems due to high communication costs. When communication is limited, agents must rely on outdated information to estimate gradients and update their policies. A common approach to handle missing data is called importance sampling, in which we reweigh old data from a base policy to estimate gradients for the current policy. However, it quickly becomes unstable when the communication is limited (i.e. missing data probability is high), so that the base policy in importance sampling is outdated. To address this issue, we propose a technique called base policy prediction, which utilizes old gradients to predict the policy update and collect samples for a sequence of base policies, which reduces the gap between the base policy and the current policy. This approach enables effective learning with significantly fewer communication rounds, since the samples of predicted base policies could be collected within one communication round. Theoretically, we show that our algorithm converges to an $\varepsilon$-Nash equilibrium in potential games with only $O(\varepsilon^{-3/4})$ communication rounds and $O(poly(\max_i |A_i|)\varepsilon^{-11/4})$ samples, improving existing state-of-the-art results in communication cost, as well as sample complexity without the exponential dependence on the joint action space size. We also extend these results to general Markov Cooperative Games to find an agent-wise local maximum. Empirically, we test the base policy prediction algorithm in both simulated games and MAPPO for complex environments.

研究の動機と目的

• 共有可能なグローバル情報の共有が費用がかかる、または実現不能である場合の協調MARLにおける学習を動機づける。
• 重要度サンプリングを用いた予測ベース方策を活用するポリシー勾配フレームワークを開発し、通信ラウンドを減らす。
• アプローチを一般的なマルコフ協調ゲームに拡張し、チーム報酬のエージェントごとの局所最適解を求める。
• 通信制約下での収束性とサンプル複雑さに関する理論的保証を提供する。
• シミュレートされたゲームとMAPPO風の環境で実証的に検証し、通信ニーズの削減を示す。

提案手法

• ベース方策予測（BPP）を提案：ベース方策の系列を勾配更新で予測し、ベースと現在の方策を近づけてIS分散を低減する。
• 予測ベース方策の下でデータを収集し、それを現在の方策勾配を推定するために再重み付けする修正された重要度サンプリング方式を使用する。
• 潜在的ゲーム（PG）に対するポリシー勾配アルゴリズムを、基礎方策予測のオラクル様の使用でε-Nash均衡を達成するように開発する。
• 理論結果を提供：PGでのε-NE収束はO(poly(|A_i|)·ε^{-11/4})サンプル、O(ε^{-3/4})の通信ラウンド；一般MCGへ拡張してエージェントごとの局所最大を達成。
• データを交換しベース方策をリセットするかを判断する二倍化/トリガーベースの通信方式を提供する。
• 同じ通信予算の下で標準戦略と比較して、シミュレートされたPG、混雑ゲーム、MAPPOベース環境で経験的評価を行う。

実験結果

リサーチクエスチョン

• RQ1 ベース方策予測は協調MARLにおいて収束を保ちつつ必要な通信ラウンド数を削減できるか。
• RQ2 潜在的ゲームやマルコフ協調ゲームでの通信とサンプル複雑さのトレードオフはどうなるか。
• RQ3 制約付き通信下での提案法はベースラインMARL手法と比較して経験的にどう機能するか。
• RQ4 一般的なMCゲームでエージェントごとの局所最大を得る枠組みに拡張できるか。

主な発見

• ベース方策予測を用いたPGアルゴリズムは、O(poly(sum_i |A_i|) · ε^{-11/4})サンプルでε-Nash均衡を達成し、通信ラウンドはわずかO(ε^{-3/4})。
• ベース方策予測は重要度サンプリングの分散を低減し、通信の間隔を長くしても性能を損なわない。
• 一般的なマルコフ協調ゲームへ拡張すると、方法はエージェントごとの局所最適解に近い分解方策を、所定のサンプル数と通信保証の下で生み出す。
• シミュレートされた潜在的および混雑ゲームでの経験的結果は、通信コストを大幅に削減しつつ完全通信ベースラインと同等の性能を示す。
• MAPPO実験は、ベース方策予測がはるかに大きな通信間隔でも収束を維持する一方、ナイーブなISは同じ制約下で失敗することを示す。
• 先行研究と比較して、共同動作空間のサイズに対する通信コストの指数的依存を回避し、サンプル複雑さと通信ラウンドのε依存性を改善する。