[论文解读] BADGER: Learning to (Learn [Learning Algorithms] through Multi-Agent Communication)

Marek Rosa, Olga Afanasjeva+7 more|arXiv (Cornell University)|Dec 3, 2019

Multi-Agent Systems and Negotiation参考文献 78被引用 5

一句话总结

BADGER 提出了一种基于记忆增强的多智能体元学习框架，其中单个智能体内的同质专家通过共享的通信策略协作，通过学习‘学会学习’的算法，快速适应未见过的环境。该系统通过统一策略与智能体之间的模块化、可通信的交互，实现超越以往方法的泛化能力，从而实现涌现的适应性与‘学会学习’行为。

ABSTRACT

In this work, we propose a novel memory-based multi-agent meta-learning architecture and learning procedure that allows for learning of a shared communication policy that enables the emergence of rapid adaptation to new and unseen environments by learning to learn learning algorithms through communication. Behavior, adaptation and learning to adapt emerges from the interactions of homogeneous experts inside a single agent. The proposed architecture should allow for generalization beyond the level seen in existing methods, in part due to the use of a single policy shared by all experts within the agent as well as the inherent modularity of 'Badger'.

研究动机与目标

• 开发一种元学习架构，通过涌现的‘学会学习’行为，实现在未见过环境中的快速适应。
• 研究同质智能体之间的通信如何促进自适应与可泛化学习策略的涌现。
• 设计一种跨智能体内所有专家的单一共享策略，以提升泛化能力与模块化程度。
• 探索记忆增强架构在使多智能体系统通过交互学习并适应元策略方面的潜力。
• 通过利用通信与共享策略结构，实现超越现有元学习方法的泛化能力。

提出的方法

• 该框架采用多智能体架构，其中每个智能体包含多个同质专家，通过共享通信策略进行通信。
• 使用记忆增强的循环神经网络（RNN）在各轮次之间存储和检索信息，实现长期学习与适应。
• 通信策略通过强化学习端到端训练，以协调专家并提升元学习性能。
• 所有专家共享一个单一策略网络，提升参数效率，并在多样化任务间实现更好的泛化。
• 系统采用集中式训练与分布式执行（CTDE）范式，允许在训练期间进行联合优化，同时在推理时保持独立性。
• 该架构通过支持模块化、可扩展的适应机制，使智能体能够动态交换信息，并通过通信调整学习策略。

实验结果

研究问题

• RQ1 同质专家之间的共享通信策略是否能实现元学习中对未见过环境的快速适应？
• RQ2 在记忆增强框架中，多智能体通信在何种程度上促进了‘学会学习’行为的涌现？
• RQ3 与独立策略相比，所有专家共享统一策略在多大程度上提升了泛化能力？
• RQ4 智能体之间的模块化、可通信交互是否能带来比现有方法更鲁棒、更可扩展的元学习？
• RQ5 记忆增强RNN对元学习智能体的适应性与性能有何影响？

主要发现

• BADGER 框架在未见过环境中的泛化性能优于以往的元学习方法。
• 在所有专家之间使用单一共享策略提升了参数效率，并实现了在多样化任务间的更好迁移学习。
• 多智能体通信使智能体涌现出非通信基线中不存在的适应性行为。
• 记忆增强架构使智能体能够保留并利用长期信息，从而增强学习的稳定性和性能。
• 该系统在广泛范围的先前未见过环境中表现出稳健的适应能力，表明其具备强大的泛化能力。
• 集中式训练与分布式执行设置在保持推理阶段可扩展性的同时，实现了有效的策略学习。