[论文解读] Dynamic population-based meta-learning for multi-agent communication with natural language

Abhinav Gupta, Marc Lanctot+1 more|arXiv (Cornell University)|Oct 27, 2021

Domain Adaptation and Few-Shot Learning参考文献 48被引用 4

一句话总结

本文提出了一种基于动态种群的元学习框架，通过迭代构建多样化智能体种群，实现在自然语言中的多智能体通信，显著提升了对未见过的智能体和人类的泛化能力。通过动态种群构建维持多样性，该方法在指代游戏任务中实现了最先进性能，相较于先前的静态种群方法，在任务准确率、自然语言生成质量和对数据集偏差的鲁棒性方面均有提升。

ABSTRACT

In this work, our goal is to train agents that can coordinate with seen, unseen as well as human partners in a multi-agent communication environment involving natural language. Previous work using a single set of agents has shown great progress in generalizing to known partners, however it struggles when coordinating with unfamiliar agents. To mitigate that, recent work explored the use of population-based approaches, where multiple agents interact with each other with the goal of learning more generic protocols. These methods, while able to result in good coordination between unseen partners, still only achieve so in cases of simple languages, thus failing to adapt to human partners using natural language. We attribute this to the use of static populations and instead propose a dynamic population-based meta-learning approach that builds such a population in an iterative manner. We perform a holistic evaluation of our method on two different referential games, and show that our agents outperform all prior work when communicating with seen partners and humans. Furthermore, we analyze the natural language generation skills of our agents, where we find that our agents also outperform strong baselines. Finally, we test the robustness of our agents when communicating with out-of-population agents and carefully test the importance of each component of our method through ablation studies.

研究动机与目标

• 在多智能体指代游戏中，使人工智能智能体能够与已见、未见及人类伙伴通过自然语言进行有效协作。
• 解决基于种群的元学习中静态种群的局限性，该局限性导致收敛于特定的通信惯例并造成泛化能力差。
• 利用有限的人工标注数据，将涌现的通信协议与自然语言更好地对齐。
• 提升对数据集偏差的鲁棒性，并改善对种群外智能体的零样本泛化能力。
• 构建一个综合评估框架，涵盖任务性能、语言生成质量、人类评估以及跨对弈泛化能力。

提出的方法

• 通过迭代训练并添加新智能体到缓冲区，动态构建智能体种群，长期保持多样性。
• 使用元学习（具体为受MAML启发的优化）训练元智能体，使其能利用动态种群中的经验快速适应新伙伴。
• 结合自对弈强化学习与小规模人工标注语言数据集的监督微调，将涌现的协议与自然语言对齐。
• 引入三种不同的归纳偏置：基于交互奖励的学习、监督语言学习以及用于快速适应的元学习。
• 使用过去智能体的缓冲区训练元智能体，确保接触广泛多样的通信风格和策略。
• 采用多阶段训练流程：(1) 自对弈中涌现通信，(2) 使用人工语言数据进行监督微调，(3) 在动态种群上进行元学习。

实验结果

研究问题

• RQ1 基于动态种群的元学习方法是否能提升在多智能体自然语言通信中对未见智能体和人类伙伴的泛化能力？
• RQ2 与静态种群相比，通过在智能体种群中保持多样性是否能产生更鲁棒且更具泛化能力的通信协议？
• RQ3 在仅使用有限人工标注数据的情况下，涌现的通信协议能在多大程度上与自然语言对齐？
• RQ4 在分布偏移情况下（如测试数据集与训练数据集不同），该方法表现如何？
• RQ5 各组件（动态种群、元学习、监督微调）对整体性能的贡献分别是什么？

主要发现

• 该方法在任务内评估中达到78.9%的指代准确率，在任务间评估中达到70.2%，优于预训练基线（65.3%），并表现出对数据集偏移的鲁棒性。
• 在跨对弈评估中，元智能体在不同未见伙伴上的表现方差较低，表明其泛化能力强；相比之下，L2C方法表现出高方差并过度拟合于种群内伙伴。
• 与强基线相比，该方法在自然语言生成方面取得了更高的BLEU分数，表明语言质量与对齐性得到提升。
• 消融实验确认，动态种群构建对于维持多样性及提升元学习器泛化能力至关重要，而静态种群则导致过拟合。
• 人类评估确认，使用该方法训练的智能体在沟通自然度和有效性方面评分高于基线。
• 缓冲区中智能体的指代准确率标准差随训练时间增加，证实动态种群成功诱导并保持了多样性。