[论文解读] Action Semantics Network: Considering the Effects of Actions in Multiagent Systems

Weixun Wang, Tianpei Yang+7 more|arXiv (Cornell University)|Jul 26, 2019

Reinforcement Learning in Robotics参考文献 37被引用 12

一句话总结

本文提出动作语义网络（ASN），一种新型深度学习架构，显式建模不同动作对多智能体系统中其他智能体的影响，从而提升多智能体强化学习中的协作能力。通过学习动作语义——即动作对其他智能体的差异化影响，ASN 在 StarCraft II 和 Neural MMO 环境中，相较于基线的原始网络、注意力机制网络以及实体注意力网络，在更高奖励和更高伤害输出方面均表现更优。

ABSTRACT

In multiagent systems (MASs), each agent makes individual decisions but all of them contribute globally to the system evolution. Learning in MASs is difficult since each agent's selection of actions must take place in the presence of other co-learning agents. Moreover, the environmental stochasticity and uncertainties increase exponentially with the increase in the number of agents. Previous works borrow various multiagent coordination mechanisms into deep learning architecture to facilitate multiagent coordination. However, none of them explicitly consider action semantics between agents that different actions have different influences on other agents. In this paper, we propose a novel network architecture, named Action Semantics Network (ASN), that explicitly represents such action semantics between agents. ASN characterizes different actions' influence on other agents using neural networks based on the action semantics between them. ASN can be easily combined with existing deep reinforcement learning (DRL) algorithms to boost their performance. Experimental results on StarCraft II micromanagement and Neural MMO show ASN significantly improves the performance of state-of-the-art DRL approaches compared with several network architectures.

研究动机与目标

• 解决在随机、高不确定性环境中，智能体间动作相互影响导致的多智能体协作挑战。
• 识别现有深度强化学习方法中未能显式建模不同动作对其他智能体产生差异化影响的缺陷。
• 提出一种新型神经网络架构，显式编码动作语义——即动作对其他智能体的差异化影响——以提升策略学习与协作能力。
• 将所提架构与现有深度强化学习算法结合，提升其在复杂多智能体环境中的性能。

提出的方法

• 设计一种名为动作语义网络（ASN）的神经网络架构，基于动作语义分离并建模不同动作对其他智能体的影响。
• 采用双分支网络结构：一个分支处理当前状态和动作嵌入，另一个分支通过学习的注意力或交互模块计算每种动作对其他智能体的影响。
• 通过将动作表示基于对其他智能体影响的预测结果进行条件化，将动作语义整合到 Q 值或策略网络中。
• 使用标准深度强化学习算法（如 PPO、A2C、ACKTR）进行训练，采用集中式训练与去中心化推理。
• 在多动作场景（如不同攻击类型）中对动作类型共享参数，以提升泛化能力并减少过拟合。
• 采用基于实体的状态表示与关系建模，捕捉与智能体相关的动作效应，实现基于语义影响的精确动作选择。

实验结果

研究问题

• RQ1 显式建模智能体间动作语义是否能提升深度强化学习中的多智能体协作能力？
• RQ2 在不同环境条件下，ASN 与基于注意力机制及原始神经网络相比，在最优动作选择学习方面表现如何？
• RQ3 ASN 是否能使智能体基于与对手的相对距离，识别并选择最有效的动作（如最高伤害的攻击）？
• RQ4 ASN 在 StarCraft II 和 Neural MMO 等多样化多智能体环境中，对学习稳定性和最终性能的提升程度如何？
• RQ5 ASN 是否能通过学习每类动作（如近战、远程、法术攻击）的独立语义影响，在不同动作类型间实现泛化？

主要发现

• 在 StarCraft II 微操和 Neural MMO 环境中，ASN 在平均累积奖励方面显著优于原始网络、注意力机制网络及实体注意力网络。
• 在 Neural MMO 环境中，当智能体间距离 ≤2 时，ASN-M1 达到最高平均总伤害（超过 1.5），优于注意力机制网络（≈1.5）和原始/实体注意力网络（≈1.0）。
• 由于显式建模了动作语义，ASN 在近距离时选择最优攻击动作（近战）的概率更高，此时该动作造成最大伤害。
• ASN 在多种 DRL 算法（PPO、ACKTR、A2C）中均表现出一致的性能提升，证实其作为即插即用架构的兼容性与有效性。
• 在所有测试的距离范围（≤2、≤4、≤10）内，ASN 均持续造成高于基线的平均伤害，表明其对环境变化具有鲁棒性。
• 消融实验确认，ASN-M1 中的参数共享提升了泛化能力且未牺牲性能，尤其在多动作设置中表现更优。