[论文解读] Any-Play: An Intrinsic Augmentation for Zero-Shot Coordination

Keane Lucas, Ross Allen|arXiv (Cornell University)|Jan 28, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出 Any-Play，一种基于内在奖励的增强方法，使自博弈训练的智能体能够在跨算法异构对弈设置中，与多样化且非同质的智能体实现零样本协作。通过在训练过程中促进行为多样性，Any-Play 显著提升了在《汉诺比》游戏中的表现，在算法差异较大的智能体之间实现了前所未有的泛化能力，达到当前最优水平。

ABSTRACT

Cooperative artificial intelligence with human or superhuman proficiency in collaborative tasks stands at the frontier of machine learning research. Prior work has tended to evaluate cooperative AI performance under the restrictive paradigms of self-play (teams composed of agents trained together) and cross-play (teams of agents trained independently but using the same algorithm). Recent work has indicated that AI optimized for these narrow settings may make for undesirable collaborators in the real-world. We formalize an alternative criteria for evaluating cooperative AI, referred to as inter-algorithm cross-play, where agents are evaluated on teaming performance with all other agents within an experiment pool with no assumption of algorithmic similarities between agents. We show that existing state-of-the-art cooperative AI algorithms, such as Other-Play and Off-Belief Learning, under-perform in this paradigm. We propose the Any-Play learning augmentation -- a multi-agent extension of diversity-based intrinsic rewards for zero-shot coordination (ZSC) -- for generalizing self-play-based algorithms to the inter-algorithm cross-play setting. We apply the Any-Play learning augmentation to the Simplified Action Decoder (SAD) and demonstrate state-of-the-art performance in the collaborative card game Hanabi.

研究动机与目标

• 解决现有协作式人工智能方法在与使用不同算法训练的智能体协作时性能下降的问题。
• 形式化一种新的评估范式——跨算法对弈，即在测试时将智能体与池中所有其他智能体配对，无论其算法是否相似。
• 开发一种通用增强方法，使基于自博弈的智能体在更广泛的设置下实现强大的零样本协作性能。
• 在具有挑战性的协作环境——纸牌游戏《汉诺比》中，验证该方法的有效性。

提出的方法

• Any-Play 方法引入了一种多智能体内在奖励，鼓励智能体在自博弈训练过程中探索多样化的行为。
• 该内在奖励基于团队中智能体行为的多样性进行计算，通过其动作或策略的嵌入相似性来衡量。
• 将该奖励整合进自博弈算法（如简化动作解码器 SAD）的训练目标中，以促进非冗余策略的探索。
• 该方法使智能体能够学习到对使用不同算法训练的队友具有鲁棒性和泛化能力的策略。
• 该方法将现有内在奖励框架扩展至多智能体设置，重点聚焦于智能体间协作的多样性。
• 该方法无需对基础算法进行架构修改，可作为即插即用的增强模块集成到现有自博弈方法中。

实验结果

研究问题

• RQ1 在与使用不同算法训练的智能体配对时，自博弈训练的智能体能否实现强大的零样本协作性能？
• RQ2 训练期间的行为多样性在跨算法对弈中对泛化至未见过的队友有何影响？
• RQ3 与标准自博弈及其他内在奖励基线相比，Any-Play 内在奖励在多大程度上提升了协作性能？
• RQ4 Any-Play 是否能在《汉诺比》等零样本协作任务中实现最先进性能？
• RQ5 该方法是否可在不修改基础自博弈算法架构的前提下，有效应用于现有方法？

主要发现

• Any-Play 显著提升了在跨算法对弈中的零样本协作性能，优于 Other-Play 和 Off-Belief Learning 等基线方法。
• 当应用于简化动作解码器（SAD）时，Any-Play 在《汉诺比》的零样本协作设置下实现了最先进性能。
• 使用 Any-Play 训练的智能体在面对使用不同算法训练的队友时，展现出强大的泛化能力，即使这些算法在训练期间未被显式建模。
• 内在多样性奖励带来了更有效且多样的协作策略，表现为在各类队友组合下团队得分更高。
• 该方法在不修改基础学习算法的前提下保持了性能提升，证实了其模块化与广泛适用性。
• 实证结果表明，Any-Play 使 SAD 在与多样化队友配对时在《汉诺比》中实现了接近最优的性能，验证了其在真实协作场景中的有效性。