[论文解读] Learning in Repeated Games: Human Versus Machine

Fatimah Ishowo-Oloko, Jacob W. Crandall+3 more|arXiv (Cornell University)|Apr 19, 2014

Artificial Intelligence in Games参考文献 39被引用 3

一句话总结

本研究在重复的混合和博弈中，将一种快速收敛的AI算法（S++）与人类及传统基于模型的强化学习（RL）智能体进行对比评估。通过包含58名参与者的用户研究，发现S++在合作与协调方面表现与人类相当或更优，表明现代AI如今已在人类相关的时间尺度上，于社会互动中媲美人类直觉。

ABSTRACT

While Artificial Intelligence has successfully outperformed humans in complex combinatorial games (such as chess and checkers), humans have retained their supremacy in social interactions that require intuition and adaptation, such as cooperation and coordination games. Despite significant advances in learning algorithms, most algorithms adapt at times scales which are not relevant for interactions with humans, and therefore the advances in AI on this front have remained of a more theoretical nature. This has also hindered the experimental evaluation of how these algorithms perform against humans, as the length of experiments needed to evaluate them is beyond what humans are reasonably expected to endure (max 100 repetitions). This scenario is rapidly changing, as recent algorithms are able to converge to their functional regimes in shorter time-scales. Additionally, this shift opens up possibilities for experimental investigation: where do humans stand compared with these new algorithms? We evaluate humans experimentally against a representative element of these fast-converging algorithms. Our results indicate that the performance of at least one of these algorithms is comparable to, and even exceeds, the performance of people.

研究动机与目标

• 探究现代AI算法是否能在重复社会互动中达到或超越人类表现。
• 解决AI研究中算法历史适应速度过慢、难以适配人类相关时间尺度（如>100轮）的空白。
• 在重复的一般和博弈中，通过实验比较人类与AI的表现，重点关注合作与适应能力。
• 评估新型快速收敛AI算法在多样化博弈环境中与人类及其他智能体互动的表现。
• 确定AI是否已达到与人类直觉相当的社会智能水平，特别是在重复互动中。

提出的方法

• 组织了一项用户研究，让58名人类参与者在四种重复的非合作博弈中与彼此及AI智能体配对。
• 采用S++算法，这是一种新近开发的用于重复博弈的快速收敛学习算法，旨在100轮内完成适应。
• 在四种博弈中将S++与基于模型的强化学习（RL）智能体及人类玩家进行对比：囚徒困境、猎鹿博弈、斗鸡博弈和混沌博弈。
• 通过测量每轮的平均收益来评估自对弈与交叉对弈场景下的表现。
• 分析不同伙伴类型（人类、S++、基于模型的RL）下的表现，以评估适应能力与合作质量。
• 对每种游戏条件进行50次试验的统计分析，以确保结果的稳健性。

实验结果

研究问题

• RQ1 像S++这样的快速收敛AI算法是否能在重复的一般和博弈中实现与人类相当的表现？
• RQ2 S++在不同博弈类型中与人类互动时，在合作与收益最大化方面表现如何？
• RQ3 S++与传统基于模型的RL智能体在与人类及其他智能体互动时的表现如何比较？
• RQ4 S++是否在不同博弈环境与伙伴类型中均展现出一致的适应能力与战略妥协能力？
• RQ5 人类在重复博弈中的心理机制在多大程度上仍优于当前的AI学习算法？

主要发现

• S++在所有四种重复博弈中均达到与人类相当或更优的表现，包括在自对弈中，其表现优于人类和基于模型的RL智能体。
• 在人类-AI配对中，S++在每轮平均收益上与人类表现相当，表明其能有效与人类合作。
• 当与另一名S++智能体配对时，S++获得的平均收益高于人类和基于模型的RL智能体，证明其具备强大的相互合作能力。
• S++在所有博弈类型和伙伴配置中均持续优于基于模型的RL智能体，包括与人类及其他智能体的互动。
• 在斗鸡博弈中，S++随时间稳步提升，最终达到或超过人类和基于模型的RL智能体的表现，尽管初期面临挑战。
• 结果表明，S++已发展出在重复一般和博弈中学习并适应任意伙伴的稳健能力，在此类情境中媲美人类的社会智能。