[论文解读] Agent-Temporal Attention for Reward Redistribution in Episodic Multi-Agent Reinforcement Learning

Baicen Xiao, Bhaskar Ramasubramanian+1 more|arXiv (Cornell University)|Jan 12, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出AREL，一种基于注意力机制的密集奖励重分配方法，用于阶段式多智能体强化学习。通过结合轨迹上的时序注意力与联合状态中各智能体的注意力，AREL识别关键状态并重新分配阶段奖励，以改善信用分配，在Particle World和StarCraft环境中，相较于最先进方法，实现了更高的累积奖励与更优的胜率。

ABSTRACT

This paper considers multi-agent reinforcement learning (MARL) tasks where agents receive a shared global reward at the end of an episode. The delayed nature of this reward affects the ability of the agents to assess the quality of their actions at intermediate time-steps. This paper focuses on developing methods to learn a temporal redistribution of the episodic reward to obtain a dense reward signal. Solving such MARL problems requires addressing two challenges: identifying (1) relative importance of states along the length of an episode (along time), and (2) relative importance of individual agents' states at any single time-step (among agents). In this paper, we introduce Agent-Temporal Attention for Reward Redistribution in Episodic Multi-Agent Reinforcement Learning (AREL) to address these two challenges. AREL uses attention mechanisms to characterize the influence of actions on state transitions along trajectories (temporal attention), and how each agent is affected by other agents at each time-step (agent attention). The redistributed rewards predicted by AREL are dense, and can be integrated with any given MARL algorithm. We evaluate AREL on challenging tasks from the Particle World environment and the StarCraft Multi-Agent Challenge. AREL results in higher rewards in Particle World, and improved win rates in StarCraft compared to three state-of-the-art reward redistribution methods. Our code is available at https://github.com/baicenxiao/AREL.

研究动机与目标

• 为解决合作式多智能体强化学习中延迟或阶段式奖励的问题，即智能体仅在阶段结束时获得全局奖励。
• 通过识别阶段时间轴上各状态的相对重要性（时序维度）以及每个时间步各智能体之间的相对重要性（智能体维度），改善信用分配。
• 开发一种可扩展的基于注意力的机制，避免多智能体设置中联合观测空间的爆炸性增长。
• 通过生成密集且可学习的奖励信号，实现与现有MARL算法的集成。
• 证明有效的奖励重分配可优于阶段式MARL环境中的策略性探索。

提出的方法

• AREL采用共享的时序注意力模块，处理每个智能体的独立观测序列，以建模长期依赖关系并识别具有影响力的态转移。
• 利用智能体注意力模块，基于各智能体状态在每个时间步对全局奖励的相对贡献（通过智能体间注意力权重计算），实现贡献度评估。
• 将智能体注意力模块的输出用于为每个时间步的每个智能体生成密集的、时序重分配的奖励信号。
• 在损失函数中引入基于方差的正则化项，以鼓励在关键状态上实现稀疏但有意义的奖励分配。
• 重分配后的奖励与任意基于值函数的MARL算法（如QMIX或MADDPG）兼容，支持即插即用的集成。
• AREL不修改底层MARL策略，而是作为奖励塑造模块，以提升学习效率。

实验结果

研究问题

• RQ1 注意力机制能否有效识别长时程MARL任务中阶段式奖励下的关键状态？
• RQ2 如何在不依赖联合观测处理的前提下，可扩展地联合建模时序与智能体层面的信用分配？
• RQ3 通过注意力机制实现的密集奖励重分配，是否能相比最先进信用分配方法提升学习性能？
• RQ4 在阶段式MARL中，有效的奖励重分配在多大程度上优于策略性探索？
• RQ5 注意力机制能否学习到可解释且语义上合理的奖励信号，与任务目标保持一致？

主要发现

• 在Particle World环境中，AREL实现的累积奖励高于三种最先进奖励重分配方法，证明了其学习效率的提升。
• 在StarCraft多智能体挑战中，AREL相比基线方法提升了胜率，表明在阶段式奖励下具备更优的策略学习能力。
• AREL生成的重分配奖励在阶段内并非均匀分布，对智能体有效协作的状态（如朝不同目标点移动）分配了更高的奖励值。
• 可视化结果表明，AREL的注意力机制能学习到在智能体覆盖不同地标时分配更高奖励，与任务目标保持一致。
• 实验表明，在奖励延迟的阶段式环境中，有效的奖励重分配比策略性探索（如MAVEN）更具优势。
• 该方法成功扩展至多智能体设置，无需联合观测处理，同时保持计算效率。