[论文解读] On the Utility of Learning about Humans for Human-AI Coordination

Micah Carroll, Rohin Shah+5 more|arXiv (Cornell University)|Oct 13, 2019

Reinforcement Learning in Robotics被引用 91

一句话总结

自我对弈代理与其他AI协同良好，但在与人类协作时表现不佳；用人类数据或模型进行训练可以提升人类-AI协作，在基于Overcooked的环境中得到证明，并通过人类用户研究得到确认。

ABSTRACT

While we would like agents that can coordinate with humans, current algorithms such as self-play and population-based training create agents that can coordinate with themselves. Agents that assume their partner to be optimal or similar to them can converge to coordination protocols that fail to understand and be understood by humans. To demonstrate this, we introduce a simple environment that requires challenging coordination, based on the popular game Overcooked, and learn a simple model that mimics human play. We evaluate the performance of agents trained via self-play and population-based training. These agents perform very well when paired with themselves, but when paired with our human model, they are significantly worse than agents designed to play with the human model. An experiment with a planning algorithm yields the same conclusion, though only when the human-aware planner is given the exact human model that it is playing with. A user study with real humans shows this pattern as well, though less strongly. Qualitatively, we find that the gains come from having the agent adapt to the human's gameplay. Given this result, we suggest several approaches for designing agents that learn about humans in order to better coordinate with them. Code is available at https://github.com/HumanCompatibleAI/overcooked_ai.

研究动机与目标

• 推动在AI系统中实现对人类有感知的协调的必要性，解决自我对弈在与人类伙伴合作时的失败问题。
• 引入一个受Overcooked启发的环境，用于在具有挑战性的协调情境下测试人类-AI协作。
• 评估自我对弈、群体训练、规划以及基于人类模型的训练在与人类协作中的表现。
• 证明将人类模型纳入训练可以提升与模拟和真实人类伙伴的合作表现。

提出的方法

• 开发一个类似Overcooked的多代理环境，包含洋葱、菜肴和汤，以制造协调挑战。
• 收集人-人轨迹，并为每种布局训练一个简单的行为克隆人类模型（BC）。
• 比较使用自我对弈（SP）、基于群体的训练（PBT）和耦合规划（CP）训练的代理，与使用人类模型训练的代理（PPO BC、带BC的规划）进行比较。
• 在-held-out代理人模型H_Proxy对抗评估，以及在真实人类用户的研究中评估。
• 通过直接使用代理人模型来训练以作为金标准基线，以界定可达到的性能范围。

实验结果

研究问题

• RQ1 当与非最优的人类模型或真实人类搭配时，自我对弈训练的协调能力是否会下降？
• RQ2 通过在训练中引入人类模型（通过行为克隆或规划），是否比单纯自我对弈能够提升人类-AI协调？
• RQ3 在与人类伙伴协作时，规划为基础的方法与强化学习为基础的方法之间的比较结果如何？
• RQ4 在模拟代理人上得到的发现是否可推广到真实的人类用户？

主要发现

• 自我对弈和PBT代理在彼此之间表现良好，但在与代理人模型或真实人类搭配时显著变差。
• 使用行为克隆人类模型（PPO BC）训练的代理在与人类搭配时优于自我对弈代理，并在可能的情况下接近金标准性能。
• 获取到真实人类模型的规划有帮助，但使用BC模型的规划在如果人类模型不准确时仍可能产生循环或表现不佳。
• 基于模仿的人类模型比假设人类最优或与代理相同的协作更好；带人类模型的规划/强化学习通常优于单纯模仿。
• 在人类用户研究中，PPO BC在若干布局中总体上优于SP和PBT，尽管不同任务布局和模型质量会影响效果。