[論文レビュー] RGMComm: Return Gap Minimization via Discrete Communications in Multi-Agent Reinforcement Learning

Jingdi Chen, Lü Tian+1 more|arXiv (Cornell University)|Aug 7, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

RGMCommは、部分観測可能な方策と理想の完全観測可能な方策の間のリターンギャップを最小化する離散的通信フレームワークを提案する。メッセージ生成をコサイン距離に基づく正則化情報最大化損失を用いたオンラインクラスタリングとしてモデル化することで、解釈可能で少数ビットのメッセージを実現し、リターンギャップの閉形式上界を提供する。これにより理論的性能保証が得られる。

ABSTRACT

Communication is crucial for solving cooperative Multi-Agent Reinforcement Learning tasks in partially observable Markov Decision Processes. Existing works often rely on black-box methods to encode local information/features into messages shared with other agents, leading to the generation of continuous messages with high communication overhead and poor interpretability. Prior attempts at discrete communication methods generate one-hot vectors trained as part of agents' actions and use the Gumbel softmax operation for calculating message gradients, which are all heuristic designs that do not provide any quantitative guarantees on the expected return. This paper establishes an upper bound on the return gap between an ideal policy with full observability and an optimal partially observable policy with discrete communication. This result enables us to recast multi-agent communication into a novel online clustering problem over the local observations at each agent, with messages as cluster labels and the upper bound on the return gap as clustering loss. To minimize the return gap, we propose the Return-Gap-Minimization Communication (RGMComm) algorithm, which is a surprisingly simple design of discrete message generation functions and is integrated with reinforcement learning through the utilization of a novel Regularized Information Maximization loss function, which incorporates cosine-distance as the clustering metric. Evaluations show that RGMComm significantly outperforms state-of-the-art multi-agent communication baselines and can achieve nearly optimal returns with few-bit messages that are naturally interpretable.

研究の動機と目的

• マルチエージェント強化学習における既存の離散的通信手法に理論的保証が欠けているという問題に対処すること。
• 連続的でブラックボックスなメッセージを置き換えることで、通信コストを低減し、解釈可能性を向上させるための離散的で有限のアルファベットによるメッセージを採用すること。
• 通信を伴う部分観測可能な方策と理想の完全観測可能な方策の間のリターンギャップを最小化すること。
• 事前に合意された意味論が不要な動的で分散型のメッセージ生成を可能にし、局所的観測のオンラインクラスタリングを用いること。
• メッセージ設計と学習を導くために、リターンギャップの閉形式上界を提供すること。

提案手法

• 完全観測可能な方策と離散的通信を伴う部分観測可能な方策の間のリターンギャップを、同じクラスタ内に属する連携行動価値ベクトル間の平均コサイン距離を含む上界として形式化する。
• メッセージ生成をオンラインクラスタリング問題として再定式化し、メッセージはクラスタラベルに対応し、リターンギャップの上界がクラスタリング損失として機能する。
• コサイン距離をクラスタリング指標として組み込む新しい正則化情報最大化（RIM）損失関数を導入し、リターンギャップを最小化する。
• アクション価値推定とメッセージ生成に共通の重みを持つ二重ストリームニューラルネットワークアーキテクチャを採用し、Tanhによる正規化と適応スケーリングを実施する。
• ターゲットネットワークにソフト更新メカニズムを採用し、τ = 0.01を用い、エージェント（0.0001）とクライアント（0.001）ネットワークの別々の学習率を設定する。
• 微分可能なメッセージサンプリングを実現するためGumbel-Softmax緩和を適用し、エンドツーエンド学習を可能にしながらも離散的メッセージの意味論を維持する。

実験結果

リサーチクエスチョン

• RQ1 完全観測可能な方策と離散的通信を伴う部分観測可能な方策の間のリターンギャップに対して、閉形式上界を導出可能か？
• RQ2 このリターンギャップを最小化しつつ、解釈可能性と低通信コストを確保する離散的通信メカニズムをどのように設計できるか？
• RQ3 局所的観測上でのオンラインクラスタリングとしてメッセージ生成をモデル化でき、リターンギャップをクラスタリングの目的関数として用いることができるか？
• RQ4 コサイン距離をクラスタリング指標として用いることで、代替的な距離測定法よりも優れた性能とより解釈可能なメッセージが得られるか？
• RQ5 さまざまなメッセージアルファベットサイズの下で、RGMCommは既存のベースラインと比較してリターン、通信効率、解釈可能性の観点で優れているか？

主な発見

• RGMCommは、1メッセージあたり数ビットのわずかな通信量でほぼ最適なリターンを達成し、CommNet、IC3Net、TarMAC、SARNetなどのSOTAベースラインを著しく上回る。
• 本手法はリターンギャップの理論的上界を提供するが、これはε（同じクラスタ内に属する行動価値ベクトル間の平均コサイン距離）に関してO(√ε n Q_max)のスケーリングに従う。
• アブレーションスタディにより、コサイン距離が性能に不可欠であることが確認され、softmaxなどの代替正規化手法を用いることで性能が低下することが判明した。
• RGMCommは解釈可能な通信を可能にする：メッセージは観測の意味のあるクラスタに対応しており、可視化例から明らかである。
• 本手法は、事前に合意された通信プロトコルや共有語彙が不要な状態で、訓練中に動的にメッセージの意味論を学習する。
• グリッドワールドの迷路環境では、一部の設定において集中型Q学習を上回る平均エピソード報酬を達成しており、組み合わせ的複雑性が低減された単純な学習可能方策と離散的通信の組み合わせが、複雑な完全観測可能方策を凌駒することを示している。