[论文解读] Learning Zero-Shot Cooperation with Humans, Assuming Humans Are Biased

Chao Yu, Jiaxuan Gao+6 more|arXiv (Cornell University)|Feb 3, 2023

Mental Health Research Topics被引用 4

一句话总结

本文提出隐藏效用自对弈（HSP），一种新颖的多智能体强化学习框架，通过在自对弈训练期间显式建模人类行为偏差作为隐藏奖励函数，实现与人类的零样本协作。通过在策略池中引入针对多样化偏差目标优化的策略，HSP在Overcooked基准测试中，相较于基线方法，在学习到的模型、脚本策略和真实人类参与者中，均实现了显著更高的奖励和更优的人类辅助评分。

ABSTRACT

There is a recent trend of applying multi-agent reinforcement learning (MARL) to train an agent that can cooperate with humans in a zero-shot fashion without using any human data. The typical workflow is to first repeatedly run self-play (SP) to build a policy pool and then train the final adaptive policy against this pool. A crucial limitation of this framework is that every policy in the pool is optimized w.r.t. the environment reward function, which implicitly assumes that the testing partners of the adaptive policy will be precisely optimizing the same reward function as well. However, human objectives are often substantially biased according to their own preferences, which can differ greatly from the environment reward. We propose a more general framework, Hidden-Utility Self-Play (HSP), which explicitly models human biases as hidden reward functions in the self-play objective. By approximating the reward space as linear functions, HSP adopts an effective technique to generate an augmented policy pool with biased policies. We evaluate HSP on the Overcooked benchmark. Empirical results show that our HSP method produces higher rewards than baselines when cooperating with learned human models, manually scripted policies, and real humans. The HSP policy is also rated as the most assistive policy based on human feedback.

研究动机与目标

• 解决现有自对弈多智能体强化学习方法的局限性，即假设人类伙伴优化相同的环境奖励函数。
• 通过显式建模人类行为偏差，提升人类-AI协作中的零样本泛化能力。
• 开发一种可扩展的方法，在自对弈过程中生成多样化、带有偏差的策略，以增强对未见过的人类伙伴的适应能力。
• 在真实人类互动中评估该框架，并证明其在辅助行为方面超越先前方法。

提出的方法

• HSP通过引入隐藏奖励函数来扩展标准自对弈，以建模人类偏差，假设这些偏差未知但具有一致性。
• 隐藏奖励空间被近似为环境奖励的线性函数，从而实现对偏差目标的高效探索。
• 在近似后的隐藏奖励空间中进行随机搜索，生成一个包含多种人类偏好对齐策略的多样化策略池。
• 最终的自适应策略在该增强策略池上进行训练，以提升对未见人类行为的零样本泛化能力。
• 该方法保持两阶段框架：(1) 基于偏差目标生成策略池；(2) 通过模仿学习或多智能体强化学习训练自适应策略。
• 该方法在Overcooked基准测试中，针对真实人类参与者、基于真实数据训练的人类行为模型以及脚本化偏差策略进行了评估。

Figure 1: Layouts in Overcooked. From left to right are Asymmetric Advantages , Coordination Ring , Counter Circuit , Distant Tomato and Many Orders respectively, with orders shown below.

实验结果

研究问题

• RQ1 在自对弈中将人类偏差建模为隐藏奖励函数，能否提升与人类的零样本协作？
• RQ2 当与基于真实数据训练的人类行为模型协作时，HSP相较于基线方法表现如何？
• RQ3 HSP是否能更好地泛化到多样化的人类偏好，包括非最优策略和技能水平差异？
• RQ4 真实人类参与者对HSP的辅助性评价如何，相较于现有AI智能体？
• RQ5 HSP能否发现并执行复杂协作策略（如对穿传递或混合汤避免），而其他智能体无法学习？

主要发现

• 在Many Orders布局中，HSP实现了最高平均回合奖励，两名人类角色分别获得384.3分和380.7分，显著优于所有基线方法。
• 在Counter Circuit布局中，HSP的平均奖励为155.2分，优于次佳基线方法MEP（134.5分），差距达20.7分，相当于每回合多完成一次汤的配送。
• 在除Coordination Ring外的所有布局中，人类参与者均将HSP评为最具辅助性的智能体，而在Coordination Ring中，HSP仍优于FCP和TrajDiv。
• 在Distant Tomato布局中，HSP通过在需要时正确放置番茄，唯一避免了无效订单，而FCP、MEP和TrajDiv智能体则反复将洋葱放入已填满番茄的锅中。
• 在Counter Circuit中，HSP成功执行了对穿传递策略，上下两名玩家均有效参与任务，而其他智能体未能协调完成此复杂模式。
• 人类偏好分析显示，HSP在Many Orders中的偏好得分为+0.38，在Counter Circuit中为+0.32，表明其在多数人类用户中均显著优于基线方法。

(b) FCP’s failure case when cooperating with a human player