[论文解读] Generating and Adapting to Diverse Ad-Hoc Cooperation Agents in Hanabi

Rodrigo Canaan, Xianbo Gao+3 more|arXiv (Cornell University)|Apr 28, 2020

Artificial Intelligence in Games参考文献 27被引用 9

一句话总结

本文提出了一种贝叶斯元智能体，用于在汉拉比游戏中适应未知且多样的合作伙伴，通过维护对伙伴策略假设的信念分布，并利用MAP-Elites生成的行为多样化规则化智能体实现。该自适应智能体在分布内表现优于非自适应通用基线，在短短10局对局内通过基于观察行为的贝叶斯推理动态选择响应策略，实现了更高的得分。

ABSTRACT

Hanabi is a cooperative game that brings the problem of modeling other players to the forefront. In this game, coordinated groups of players can leverage pre-established conventions to great effect, but playing in an ad-hoc setting requires agents to adapt to its partner's strategies with no previous coordination. Evaluating an agent in this setting requires a diverse population of potential partners, but so far, the behavioral diversity of agents has not been considered in a systematic way. This paper proposes Quality Diversity algorithms as a promising class of algorithms to generate diverse populations for this purpose, and generates a population of diverse Hanabi agents using MAP-Elites. We also postulate that agents can benefit from a diverse population during training and implement a simple "meta-strategy" for adapting to an agent's perceived behavioral niche. We show this meta-strategy can work better than generalist strategies even outside the population it was trained with if its partner's behavioral niche can be correctly inferred, but in practice a partner's behavior depends and interferes with the meta-agent's own behavior, suggesting an avenue for future research in characterizing another agent's behavior during gameplay.

研究动机与目标

• 开发一种适用于未知、非协调合作伙伴的自适应智能体，以实现有效的合作汉拉比游戏玩法。
• 实现实时适应，适应时间窗口短，与人类游戏兼容。
• 使用对伙伴行为的信念分布，基于多样化的预训练规则化策略进行建模。
• 在分布内与分布外设置下评估适应性能。
• 探索行为多样性在实现即兴合作中的元推理能力方面的作用。

提出的方法

• 元智能体使用通过MAP-Elites生成的行为多样化规则化智能体池，形成对伙伴策略的初始假设。
• 从响应策略与伙伴假设之间的对局中收集行为特征——平均沟通度（Communicativeness）和政策间接近度（IPP，Inter-Policy Proximity）
• 采用贝叶斯推理框架，维护当前伙伴与池中每个假设匹配的可能性的信念分布。
• 元智能体基于当前信念分布下期望奖励最大化的响应策略选择动作。
• 系统在10局对局中评估性能，比较自适应与非自适应（通用型）策略的表现。
• 该方法假设行为特征独立且服从正态分布，用于信念更新。

实验结果

研究问题

• RQ1 在10局的短时间交互窗口内，元智能体能否适应未知且多样的汉拉比合作伙伴？
• RQ2 在分布内设置下，自适应元智能体与非自适应通用基线相比，性能如何？
• RQ3 假设池中行为多样性对元智能体推断并响应伙伴策略的能力有何影响？
• RQ4 当在训练分布之外的伙伴上进行评估时，元智能体表现如何？
• RQ5 通过优化行为特征空间或信念模型，能否改进元智能体的适应机制？

主要发现

• 在三个分布内场景中的两个，自适应元智能体得分高于通用基线，表明其在10局对局内实现了有效适应。
• 当训练与评估群体相同时，自适应智能体仅略胜于通用基线，表明基于信念的策略选择成功实现。
• 在分布外伙伴上的表现尚不明确或略有下降，表明其泛化能力在训练分布之外存在局限。
• 自对弈得分与成对得分之间的相关性可能降低了性能方差，从而可能限制了适应优势的可检测性。
• 元智能体仅使用三个行为特征维持性能：平均沟通度、IPP和对局得分。
• 探索性实验表明，两个自适应智能体之间存在相互适应，最终收敛至类似通用型响应策略，表明系统稳定但动态协同适应能力有限。