[论文解读] Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming

Sachin Konan, Esmaeil Seraj+1 more|arXiv (Cornell University)|Jan 20, 2022

Cognitive Science and Mapping被引用 6

一句话总结

该论文提出InfoPG，一种新颖的完全去中心化多智能体强化学习框架，通过将每个智能体的策略条件化于其邻居的策略，从而在无需显式正则化的情况下隐式最大化互信息（MI），增强智能体间的协作。结合认知层级理论与策略梯度优化，InfoPG在合作性多智能体强化学习环境中实现了最先进的性能，相较于基线方法展现出更高的样本效率和累积奖励。

ABSTRACT

Information sharing is key in building team cognition and enables coordination and cooperation. High-performing human teams also benefit from acting strategically with hierarchical levels of iterated communication and rationalizability, meaning a human agent can reason about the actions of their teammates in their decision-making. Yet, the majority of prior work in Multi-Agent Reinforcement Learning (MARL) does not support iterated rationalizability and only encourage inter-agent communication, resulting in a suboptimal equilibrium cooperation strategy. In this work, we show that reformulating an agent's policy to be conditional on the policies of its neighboring teammates inherently maximizes Mutual Information (MI) lower-bound when optimizing under Policy Gradient (PG). Building on the idea of decision-making under bounded rationality and cognitive hierarchy theory, we show that our modified PG approach not only maximizes local agent rewards but also implicitly reasons about MI between agents without the need for any explicit ad-hoc regularization terms. Our approach, InfoPG, outperforms baselines in learning emergent collaborative behaviors and sets the state-of-the-art in decentralized cooperative MARL tasks. Our experiments validate the utility of InfoPG by achieving higher sample efficiency and significantly larger cumulative reward in several complex cooperative multi-agent domains.

研究动机与目标

• 为解决现有多智能体强化学习（MARL）方法在去中心化设置下缺乏迭代推理与战略协调的问题。
• 使智能体能够通过策略条件化学习隐式推理队友的理性与行为，模拟人类的认知层级。
• 在无需显式正则化的情况下最大化智能体策略之间的互信息（MI），以改善涌现协作。
• 开发一种完全去中心化的、基于图的通信结构，支持心智理论推理与共享效用最大化。
• 在多样化的合作性MARL环境中验证该框架的有效性，包括复杂且高维的任务。

提出的方法

• InfoPG在策略梯度（PG）优化过程中，将智能体的策略重新表述为依赖于其邻居智能体策略的条件分布。
• 该方法利用认知层级理论中的k级推理框架，对智能体之间的有限理性与迭代战略思维进行建模。
• 通过将策略条件化于邻居的策略，InfoPG在训练过程中隐式提升了智能体之间的互信息（MI），其理论依据是推导出的MI下界。
• 该方法采用可随时间变化的通信图，支持智能体间的去中心化、局部信息交换。
• 提出InfoPG的广义变体，引入MI上界以支持理论分析并提升鲁棒性。
• 该框架使用循环神经网络（如GRU或VRNN）实现通信策略，并采用标准超参数进行端到端的策略梯度训练。

实验结果

研究问题

• RQ1 在无需显式正则化的情况下，通过将智能体的策略条件化于其邻居的策略，是否能隐式最大化智能体之间的互信息（MI）？
• RQ2 引入k级推理（认知层级）如何提升去中心化多智能体强化学习中的协作性能？
• RQ3 InfoPG在合作性MARL环境中是否相比最先进基线方法展现出更高的样本效率与累积奖励？
• RQ4 在拜占庭条件下（如团队中存在欺诈性智能体）InfoPG的表现如何？
• RQ5 所提出的框架是否能在多样、复杂的合作环境中泛化，包括高维观测输入的任务？

主要发现

• 在所有评估环境（包括Co-op Pong、Pistonball、Multiwalker和StarCraft II 3M）中，InfoPG在累积回报方面均优于多个基线方法，包括NC-A2C、CU、MOA和PR2-AC。
• 在Co-op Pong环境中，InfoPG实现了显著更高的累积奖励，并展现出涌现通信行为：智能体首先学习击球，随后通过通信实现协调。
• 在Pistonball环境中，InfoPG表现出更优的样本效率与鲁棒性，尤其在存在欺诈性智能体的对抗条件下仍能保持高性能。
• 该框架在StarCraft II小型游戏（3M挑战）中达到最先进性能，证明其在复杂、部分可观测、高维任务中的可扩展性。
• 消融实验表明，仅通过策略条件化（无需显式MI正则化）即可提升MI并改善协作，验证了隐式MI最大化机制的有效性。
• 使用GRU或VRNN构建的通信网络使InfoPG能够学习到有效且自适应的通信协议，这些协议在训练过程中逐步演化，初始行为类似于直接观察，随后逐步整合邻居策略信息。