[论文解读] A New Formalism, Method and Open Issues for Zero-Shot Coordination

Johannes Treutlein, Michael D. Dennis+2 more|arXiv (Cornell University)|Jun 11, 2021

Reinforcement Learning in Robotics被引用 4

一句话总结

本文形式化了多智能体强化学习中的无标签协作（LFC）问题，指出此前被认为最优的其他博弈（other-play）因存在非唯一最大化者而可能失效。本文提出带冲突解决机制的其他博弈（Other-Play with Tie-Breaking），证明其为最优并形成纳什均衡；同时指出LFC与零样本协作（ZSC）中人类-智能体协作目标并不完全一致，因而提出未来研究的新操作化定义。

ABSTRACT

In many coordination problems, independently reasoning humans are able to discover mutually compatible policies. In contrast, independently trained self-play policies are often mutually incompatible. Zero-shot coordination (ZSC) has recently been proposed as a new frontier in multi-agent reinforcement learning to address this fundamental issue. Prior work approaches the ZSC problem by assuming players can agree on a shared learning algorithm but not on labels for actions and observations, and proposes other-play as an optimal solution. However, until now, this "label-free" problem has only been informally defined. We formalize this setting as the label-free coordination (LFC) problem by defining the label-free coordination game. We show that other-play is not an optimal solution to the LFC problem as it fails to consistently break ties between incompatible maximizers of the other-play objective. We introduce an extension of the algorithm, other-play with tie-breaking, and prove that it is optimal in the LFC problem and an equilibrium in the LFC game. Since arbitrary tie-breaking is precisely what the ZSC setting aims to prevent, we conclude that the LFC problem does not reflect the aims of ZSC. To address this, we introduce an alternative informal operationalization of ZSC as a starting point for future work.

研究动机与目标

• 将无标签协作（LFC）问题形式化为多智能体强化学习中零样本协作（ZSC）的严谨设定。
• 分析现有其他博弈（OP）算法的局限性，特别是其在LFC设定下无法处理非唯一最大化者的问题。
• 提出并证明一种增强算法——带冲突解决机制的其他博弈，可解决上述不一致问题。
• 论证LFC形式化未能完全体现ZSC的目标，尤其是人类-智能体协作的意图，并为未来研究提出修订后的操作化定义。

提出的方法

• 引入无标签协作（LFC）博弈作为ZSC问题的形式化，其中智能体共享学习算法但不共享动作/观测标签。
• 将LFC问题定义为在随机抽取的LFC博弈中寻找最优推荐算法，并建立正式的最优性标准。
• 提出其他博弈的扩展形式——“带冲突解决机制的其他博弈”，通过使用确定性冲突解决函数从多个最优策略中选择。
• 证明该扩展算法在LFC问题中为最优，并在任意LFC博弈中形成纳什均衡。
• 采用理论分析方法，结合对称群、自同构的均匀分布以及概率论论证（如引理89），证明在随机置换下策略等价的概率为零。
• 在两个简化的玩具协作博弈中进行实证验证，以展示该方法的有效性与鲁棒性。

实验结果

研究问题

• RQ1 其他博弈在无标签协作（LFC）问题中是否真正最优？当其目标函数存在多个最大化策略时，是否会失效？
• RQ2 是否可通过引入一致冲突解决机制的其他博弈变体，在LFC问题中实现最优性？
• RQ3 LFC形式化是否准确反映了零样本协作的目标，特别是实现人类-智能体协作的能力？
• RQ4 在何种理论条件下，策略在置换下保持等价？这一性质如何被用于实现稳健协作？
• RQ5 如何重新定义ZSC问题，使其更契合现实协作需求，特别是人类-智能体协作场景？

主要发现

• 其他博弈在LFC问题中并非最优，因其无法一致地解决其目标函数多个最大化策略之间的冲突。
• 所提出的“带冲突解决机制的其他博弈”算法在LFC问题中被证明为最优，并在任意LFC博弈中形成纳什均衡。
• 在随机置换下，两个不同策略产生相同期望回报的概率为零，这支持了冲突解决方案的唯一性。
• 在两个玩具协作博弈中的实证验证表明，扩展算法在无标签条件下相比原始其他博弈在协作成功率上表现更优。
• LFC形式化未能完全体现零样本协作的目标，因为任意的冲突解决机制违背了避免共享惯例的核心目标。
• 本文最后提出ZSC的新操作化定义，作为未来研究的起点，强调与人类-智能体协作需求的对齐。