[论文解读] Joint Attention for Multi-Agent Coordination and Social Learning

Dennis Lee, Natasha Jaques+5 more|arXiv (Cornell University)|Apr 15, 2021

Reinforcement Learning in Robotics参考文献 57被引用 4

一句话总结

本文提出了一种多智能体强化学习（MARL）中的联合注意力机制，通过激励智能体将其视觉注意力与他人对齐，降低在高维联合动作空间中的探索成本。通过使用循环视觉注意力架构训练智能体匹配注意力权重，该方法提升了协调能力与社会学习能力，优于集中式评论器基线方法，并加速了从专家智能体学习的过程。

ABSTRACT

Joint attention - the ability to purposefully coordinate attention with another agent, and mutually attend to the same thing -- is a critical component of human social cognition. In this paper, we ask whether joint attention can be useful as a mechanism for improving multi-agent coordination and social learning. We first develop deep reinforcement learning (RL) agents with a recurrent visual attention architecture. We then train agents to minimize the difference between the attention weights that they apply to the environment at each timestep, and the attention of other agents. Our results show that this joint attention incentive improves agents' ability to solve difficult coordination tasks, by reducing the exponential cost of exploring the joint multi-agent action space. Joint attention leads to higher performance than a competitive centralized critic baseline across multiple environments. Further, we show that joint attention enhances agents' ability to learn from experts present in their environment, even when completing hard exploration tasks that do not require coordination. Taken together, these findings suggest that joint attention may be a useful inductive bias for multi-agent learning.

研究动机与目标

• 探究联合注意力是否可作为多智能体强化学习的有效归纳偏置。
• 降低多智能体环境中联合动作空间探索的指数级成本。
• 通过使新手智能体能够更快地从专家智能体学习，提升社会学习能力。
• 评估联合注意力智能体在多样化环境中的泛化性能。

提出的方法

• 智能体配备一种循环视觉注意力架构，可选择性地聚焦于环境中的显著元素。
• 引入联合注意力激励机制，通过最小化智能体自身注意力权重与其他智能体注意力权重之间的差异来给予奖励。
• 注意力机制在有限数量的注意力头之上使用softmax，形成瓶颈，过滤无关信息。
• 该方法采用集中训练、分散执行（CTDE）框架，基于注意力对齐程度共享奖励。
• 模型使用循环策略网络，基于交互历史条件化注意力，实现目标导向的感知。
• 该方法在多个环境中进行了评估，包括协调任务和专家教师场景。

实验结果

研究问题

• RQ1 联合注意力是否可通过使智能体聚焦于共享环境元素，降低多智能体强化学习中的探索成本？
• RQ2 在复杂任务中，联合注意力是否能超越集中式评论器基线方法，提升多智能体协调能力？
• RQ3 在非协调性任务中，联合注意力是否可通过引导智能体关注与专家相关的环境特征，增强社会学习能力？
• RQ4 与标准MARL方法相比，联合注意力机制是否能提升对未见过环境的泛化性能？

主要发现

• 在多个协调环境任务中，联合注意力智能体的表现优于竞争性的集中式评论器基线方法，最终获得更高的奖励。
• 联合注意力机制降低了样本复杂度，即使在无需显式协调的任务中，也能实现从专家演示中更快学习。
• 在TaskList环境中，联合注意力智能体从专家处学习的速度显著快于从零开始训练，展现出更强的社会学习能力。
• 在修改后的测试环境（如NoStag和AllStags）中，泛化性能保持稳定或得到提升，表明对环境变化具有鲁棒性。
• 在存在干扰物（如墙壁）的环境中，该方法减少了性能下降，表明注意力过滤增强了泛化能力。
• 联合注意力使智能体在AllStags环境中学会了捕猎雄鹿，而基线方法未能学会该行为，凸显了其在协调能力上的显著提升。