[論文レビュー] Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming

Sachin Konan, Esmaeil Seraj+1 more|arXiv (Cornell University)|Jan 20, 2022

Cognitive Science and Mapping被引用数 6

ひとこと要約

本稿では、各エージェントのポリシーを周囲むエージェントのポリシーに条件づけることで、明示的な正則化なしに相互情報量（MI）を暗黙的に最大化し、協力を強化する、完全に分散型のマルチエージェント強化学習フレームワークであるInfoPGを提案する。認知階層理論とポリシー勾配最適化を統合することで、ベースラインと比較してより高いサンプル効率と累積報酬を達成し、協力的マルチエージェント強化学習（MARL）環境で最先端の性能を発揮する。

ABSTRACT

Information sharing is key in building team cognition and enables coordination and cooperation. High-performing human teams also benefit from acting strategically with hierarchical levels of iterated communication and rationalizability, meaning a human agent can reason about the actions of their teammates in their decision-making. Yet, the majority of prior work in Multi-Agent Reinforcement Learning (MARL) does not support iterated rationalizability and only encourage inter-agent communication, resulting in a suboptimal equilibrium cooperation strategy. In this work, we show that reformulating an agent's policy to be conditional on the policies of its neighboring teammates inherently maximizes Mutual Information (MI) lower-bound when optimizing under Policy Gradient (PG). Building on the idea of decision-making under bounded rationality and cognitive hierarchy theory, we show that our modified PG approach not only maximizes local agent rewards but also implicitly reasons about MI between agents without the need for any explicit ad-hoc regularization terms. Our approach, InfoPG, outperforms baselines in learning emergent collaborative behaviors and sets the state-of-the-art in decentralized cooperative MARL tasks. Our experiments validate the utility of InfoPG by achieving higher sample efficiency and significantly larger cumulative reward in several complex cooperative multi-agent domains.

研究の動機と目的

• 既存のマルチエージェント強化学習（MARL）手法、特に分散型設定において繰り返しの推論と戦略的協調の欠如に対処する。
• 人間のような認知階層を模倣するために、仲間エージェントの合理性と行動についてポリシー条件付け学習を通じて暗黙的に推論できるようにする。
• 明示的な正則化なしにエージェントのポリシー間の相互情報量（MI）を最大化し、自己組織的協調を向上させる。
• 理論的思考の推論と共有利得最大化を可能にする、完全に分散型のグラフベース通信構造を開発する。
• 複数の協力的MARL環境、特に複雑で高次元のタスクにおいて、フレームワークの有効性を検証する。

提案手法

• ポリシー勾配（PG）最適化中に、エージェントのポリシーをその周囲のエージェントのポリシーに条件づけることで、ポリシーの再定式化を行う。
• 認知階層理論のk段階推論フレームワークを活用し、エージェント間での限界合理的性と繰り返し戦略的思考をモデル化する。
• 周囲エージェントのポリシーにポリシーを条件づけることで、訓練中にMIの解析的下界を導出することにより、エージェント間のMIが暗黙的に増加することが示された。
• 通信グラフは時間的に変化する可能性があり、エージェント間の分散型で局所的な情報交換を可能にする。
• 理論的分析とより高い耐性を向上させるために、MIの上界を用いた一般化されたInfoPGの変種を提案する。
• 通信ポリシーには再帰的ニューラルネットワーク（例：GRUまたはVRNN）を採用し、標準的なハイパーパrameterを用いてエンド・ツー・エンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 周囲エージェントのポリシーに自身のポリシーを条件づけることで、明示的な正則化なしにエージェント間の相互情報量（MI）を暗黙的に最大化できるか？
• RQ2 認知階層理論のk段階推論を組み込むことで、分散型マルチエージェント強化学習における協力性はどのように向上するか？
• RQ3 協力的MARL環境において、最先端のベースラインと比較して、InfoPGはより高いサンプル効率と累積報酬を達成するか？
• RQ4 ファウルトエージェントがチームに存在するようなByzantine状態下でも、InfoPGは良好な性能を発揮するか？
• RQ5 提案されたフレームワークは、高次元の観測を持つ多様で複雑な協力的環境に一般化可能か？

主な発見

• Co-op Pong、Pistonball、Multiwalker、StarCraft II 3Mを含む、すべての評価環境において、NC-A2C、CU、MOA、PR2-ACなどの複数のベースラインと比較して、累積リターンで優れた性能を発揮した。
• Co-op Pongでは、顕著に高い累積報酬を達成し、エージェントがボールを打つことを学習した後、通信を通じて協調行動を発現する、自己組織的通信行動を示した。
• Pistonball環境では、特に悪意あるエージェントが存在する敵対的状況下でも、優れたサンプル効率と耐性を示し、高い性能を維持した。
• StarCraft IIミニゲーム（3Mチャレンジ）において、最先端の性能を達成し、複雑で部分観測可能で高次元のタスクへのスケーラビリティを実証した。
• アブレーションスタディにより、明示的なMI正則化なしにポリシー条件づけのみでMIが上昇し、協調性が向上したことが確認され、暗黙のMI最大化メカニズムの有効性が裏付けられた。
• GRUまたはVRNNベースの通信ネットワークの使用により、訓練の過程で効果的で適応的な通信プロトコルを学習でき、初期段階では直接観測に類似した行動を示し、その後に周囲エージェントのポリシーを統合するようになった。