[论文解读] Inner Attention Modeling for Flexible Teaming of Heterogeneous Multi Robots Using Multi-Agent Reinforcement Learning.

Chao Huang, Rui Liu|arXiv (Cornell University)|Jun 28, 2020

Evolutionary Game Theory and Cooperation被引用 2

一句话总结

本文提出 innerATT，一种新颖的多智能体强化学习框架，其内嵌注意力机制可实现异构多机器人系统（HMRS）中灵活、自适应的团队协作。通过根据任务需求和机器人可用性的动态变化，动态分配团队能力，innerATT 在搜救等动态场景中提升了协作效率并降低了资源消耗。

ABSTRACT

With the advantages of member diversity and team scale, heterogeneous multi-robot systems (HMRS) are widely used in complex scenarios, including disaster search and rescue, site surveillance, and traffic control. However, due to the of requirements, it is still challenging to accurately allocate limited team capability to satisfy various needs effectively. In this paper, a novel adaptive cooperation method, inner attention innerATT is developed to flexibly team heterogeneous robots to execute tasks as needs change. innerATT is designed based on an attention mechanism and a multi-agent actor-critic reinforcement learning algorithm. We briefly validate how the inner attention mechanism can be exploited to enable flexible and robust decision making in guiding cooperation. The results, in two designed scenarios task variety and robot availability variety, show that innerATT can enable flexible cooperation and reduce resource consumption in search and rescue tasks.

研究动机与目标

• 解决在任务需求和机器人可用性动态变化条件下，异构多机器人系统（HMRS）中有限能力的动态分配挑战。
• 提升在灾难搜救等复杂现实场景中的团队协作灵活性与鲁棒性。
• 通过根据环境需求实时调整团队构成与角色，实现高效协作。
• 通过智能能力分配减少任务执行过程中的资源消耗。
• 开发一种可扩展且自适应的协调机制，支持多样化的机器人类型与任务需求。

提出的方法

• 将内嵌注意力机制集成到多智能体演员-critic 强化学习框架中，以建模智能体间的依赖关系并优先选择相关团队成员。
• 利用注意力权重动态评估每个机器人能力与当前任务的相关性，实现上下文感知的团队协作决策。
• 使用具有局部观测的集中式评论家训练策略网络，实现在保留部分可观测性的同时进行信用分配。
• 设计注意力机制以聚焦于具备互补能力的机器人，提升协调效率。
• 采用策略梯度方法端到端优化策略，注意力门控调节每个智能体动作的贡献度。
• 通过实时重新评估注意力权重，使系统能够适应任务需求变化和机器人可用性的动态调整。

实验结果

研究问题

• RQ1 在动态环境中，如何灵活地将异构机器人组队以适应不断变化的任务需求？
• RQ2 内嵌注意力机制在多机器人系统中在多大程度上提升了协调效率并减少了资源消耗？
• RQ3 在机器人可用性与任务多样性变化的情况下，所提方法能否保持鲁棒性能？
• RQ4 在复杂场景中，基于注意力的机制与固定或启发式团队协作策略相比表现如何？
• RQ5 内嵌注意力机制对多智能体设置中学习稳定性和可扩展性有何影响？

主要发现

• innerATT 通过根据任务需求和机器人可用性动态调整团队构成，在异构多机器人系统中实现了灵活且自适应的团队协作。
• 该方法通过注意力驱动的协调机制优化能力分配，在搜救任务中有效降低了资源消耗。
• 在任务多样性较高的场景中，由于能够实时重构团队，innerATT 保持了较高的任务完成率。
• 内嵌注意力机制通过聚焦于与任务最相关的机器人，增强了决策的鲁棒性。
• 实验结果表明，与基线方法相比，innerATT 在协作效率方面表现更优，尤其在动态和不确定环境中。
• 该框架在不同机器人与任务配置下均展现出良好的可扩展性与适应性。