[论文解读] ALMA: Hierarchical Learning for Composite Multi-Agent Tasks

Shariq Iqbal, Robby Costales+1 more|arXiv (Cornell University)|May 27, 2022

Reinforcement Learning in Robotics被引用 9

一句话总结

ALMA 提出了一种用于复合多智能体任务的分层强化学习框架，其中智能体被联合分配至子任务，并为其分配的任务学习专业化策略。通过将环境分解为独立的子环境，并联合学习分配与动作策略，ALMA 实现了更优的样本效率、对新配置的泛化能力，以及优于强基线方法和启发式策略的性能。

ABSTRACT

Despite significant progress on multi-agent reinforcement learning (MARL) in recent years, coordination in complex domains remains a challenge. Work in MARL often focuses on solving tasks where agents interact with all other agents and entities in the environment; however, we observe that real-world tasks are often composed of several isolated instances of local agent interactions (subtasks), and each agent can meaningfully focus on one subtask to the exclusion of all else in the environment. In these composite tasks, successful policies can often be decomposed into two levels of decision-making: agents are allocated to specific subtasks and each agent acts productively towards their assigned subtask alone. This decomposed decision making provides a strong structural inductive bias, significantly reduces agent observation spaces, and encourages subtask-specific policies to be reused and composed during training, as opposed to treating each new composition of subtasks as unique. We introduce ALMA, a general learning method for taking advantage of these structured tasks. ALMA simultaneously learns a high-level subtask allocation policy and low-level agent policies. We demonstrate that ALMA learns sophisticated coordination behavior in a number of challenging environments, outperforming strong baselines. ALMA's modularity also enables it to better generalize to new environment configurations. Finally, we find that while ALMA can integrate separately trained allocation and action policies, the best performance is obtained only by training all components jointly. Our code is available at https://github.com/shariqiqbal2810/ALMA

研究动机与目标

• 为解决在大规模交互中，智能体需在复杂多智能体环境中进行协作时样本效率低下的问题。
• 利用复合任务的结构归纳偏差——即智能体专注于孤立的子任务——以减少观测空间并提升策略可重用性。
• 开发一种模块化、联合学习框架，同时训练高层分配策略与低层动作策略，以实现更好的协调与泛化。
• 评估联合训练的必要性，以及子任务分解对性能与鲁棒性的影响。

提出的方法

• ALMA 采用双层决策结构：高层子任务分配策略将智能体分配至子任务，而低层智能体策略仅在其被分配的子任务上执行动作。
• 引入子任务特定的动作价值函数，其仅依赖于局部观测，通过任务特定的观测掩码实现，从而支持独立学习与策略重用。
• 在大规模组合动作空间上采用基于值的方法进行分配，利用近期在大规模动作空间学习方面的进展。
• 该框架具有模块化特性，允许在不同子任务组合中重用训练好的子任务策略，并在与预训练策略结合时实现零样本迁移。
• 采用分配与动作策略的联合训练，形成反馈回路，使策略能够相互适应，从而提升整体性能。
• 该方法假设子任务的转移与奖励独立，通过观测掩码加以强制，以维持子环境的独立性。

实验结果

研究问题

• RQ1 是否一种联合优化子任务分配与低层动作策略的分层学习框架，能在复杂多智能体任务中超越平坦的MARL方法？
• RQ2 通过观测掩码实现的子任务分解，在复合多智能体任务中如何影响样本效率与策略可重用性？
• RQ3 与分别训练分配与动作策略相比，联合训练在多大程度上提升了性能？
• RQ4 当子任务假设被违反时，ALMA 在未在训练中见过的新环境配置下泛化能力如何，尤其是面对此类情况？

主要发现

• 在 SaveTheCity 和 StarCraft 等复杂多智能体环境中的实验表明，ALMA 超越了强基线方法，包括最先进的分层与平坦MARL方法，以及启发式分配策略。
• 当移除观测掩码时性能显著下降，证实子任务分解对有效学习至关重要。
• ALMA 对新配置具有稳健的泛化能力，在子任务相似度高于训练分布时仍保持稳定性能，甚至在中间配置下表现出轻微性能提升。
• 当使用预训练的动作策略时，仅ALMA的分配策略即可使基于启发式策略的效率提升四倍，证明其具备强大的零样本迁移能力。
• 联合训练分配与动作策略可获得最佳性能，表明高层策略与低层执行之间的反馈回路对最优协调至关重要。
• 当子任务独立性假设被违反时（例如 StarCraft 中敌方军队重叠），该方法会失效，进一步验证了分解假设的重要性。