[论文解读] LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning

Mingyu Yang, Jian Zhao+4 more|arXiv (Cornell University)|May 5, 2022

Sports Analytics and Performance被引用 22

一句话总结

LDSA 通过对子任务进行编码、以学习到的能力分配代理，并对每个子任务使用解码器引导、与表示相关的策略，从而在协作多智能体强化学习中学习动态子任务分配，在 SMAC 和 GRF 上提升性能。

ABSTRACT

Cooperative multi-agent reinforcement learning (MARL) has made prominent progress in recent years. For training efficiency and scalability, most of the MARL algorithms make all agents share the same policy or value network. However, in many complex multi-agent tasks, different agents are expected to possess specific abilities to handle different subtasks. In those scenarios, sharing parameters indiscriminately may lead to similar behavior across all agents, which will limit the exploration efficiency and degrade the final performance. To balance the training complexity and the diversity of agent behavior, we propose a novel framework to learn dynamic subtask assignment (LDSA) in cooperative MARL. Specifically, we first introduce a subtask encoder to construct a vector representation for each subtask according to its identity. To reasonably assign agents to different subtasks, we propose an ability-based subtask selection strategy, which can dynamically group agents with similar abilities into the same subtask. In this way, agents dealing with the same subtask share their learning of specific abilities and different subtasks correspond to different specific abilities. We further introduce two regularizers to increase the representation difference between subtasks and stabilize the training by discouraging agents from frequently changing subtasks, respectively. Empirical results show that LDSA learns reasonable and effective subtask assignment for better collaboration and significantly improves the learning performance on the challenging StarCraft II micromanagement benchmark and Google Research Football.

研究动机与目标

• 需要在协作 MARL 中平衡训练复杂性与行为多样性，通过将任务分解为子任务来实现。
• 开发一个框架，在不依赖大量领域知识的情况下学习子任务。
• 实现基于能力的动态分配代理到子任务，以提升协作。
• 学习每个子任务的策略，并与子任务表示相耦合，以促进子任务内的分享与跨子任务的多样性。

提出的方法

• 引入一个子任务编码器，根据子任务的身份为每个子任务生成一个向量表示。
• 使用代理轨迹/动作-观测历史编码器获取能力表示，并计算与子任务表示的余弦相似度，通过 softmax 分布进行子任务选择。
• 应用 Straight-Through Gumbel-Softmax 在可微分的方式下对子任务分配进行采样。
• 使用子任务解码器将子任务表示映射到策略参数，将子任务身份与不同策略相关联。
• 结合两种正则项：(i) 最大化对子任务表示的两两多样性以促进有意义的分解；(ii) 最小化相邻时间步的子任务选择分布的 KL 发散以稳定训练。
• 使用 QMIX 风格的混合网络进行全局 Q 值的估计，同时允许去中心化执行。

实验结果

研究问题

• RQ1 LDSA 能否在具有挑战性的协作 MARL 基准上优于基线？
• RQ2 所提出的正则项是否提高了分解质量和训练稳定性？
• RQ3 LDSA 的哪些组成部分对性能提升贡献最大？
• RQ4 在训练过程中，LDSA 能否提供可解释且合理的动态子任务分配？

主要发现

• LDSA 在 14 个 SMAC 场景上显著提升学习性能，超过基线，在中位测试胜率上平均实现约 7% 的增益。
• 强制子任务分离和稳定子任务切换的正则项对性能有贡献；去除它们会降低结果，其中表示多样性正则项影响更大。
• 消融实验显示基于能力的子任务选择对性能贡献最大，超过子任务解码器或简单增加参数量。
• 可视化显示了动态、合理的子任务分配：具有相似能力的代理聚集在一起解决特定子任务并有效共享学习。