[论文解读] Leveling the Playing Field -- Fairness in AI Versus Human Game Benchmarks

Rodrigo Canaan, Christoph Salge+2 more|arXiv (Cornell University)|Mar 17, 2019

Ethics and Social Impacts of AI参考文献 30被引用 20

一句话总结

本文认为，由于输入/输出模式、反应速度和表征抽象等方面的本质差异，AI与人类在游戏基准测试中不存在完全公平的比较。文章提出了一个公平性维度分类法——输入、输出、动作空间和反应时间，用于评估人机游戏竞赛，结论是除非AI在身体、认知和社会背景上与人类完全一致，否则真正意义上的对等是不可能实现的。

ABSTRACT

From the beginning if the history of AI, there has been interest in games as a platform of research. As the field developed, human-level competence in complex games became a target researchers worked to reach. Only relatively recently has this target been finally met for traditional tabletop games such as Backgammon, Chess and Go. Current research focus has shifted to electronic games, which provide unique challenges. As is often the case with AI research, these results are liable to be exaggerated or misrepresented by either authors or third parties. The extent to which these games benchmark consist of fair competition between human and AI is also a matter of debate. In this work, we review the statements made by authors and third parties in the general media and academic circle about these game benchmark results and discuss factors that can impact the perception of fairness in the contest between humans and machines

研究动机与目标

• 调查在人工智能已达到人类水平智能的声浪日益高涨的背景下，人类-AI游戏基准测试的公平性问题。
• 识别并分析影响人类与AI智能体在游戏竞赛中公平性的关键维度。
• 挑战一种主流叙事，即在游戏基准测试中的成功等同于人类水平智能或通用人工智能（AGI）。
• 为评估人工智能-游戏竞赛中的公平性，特别是电子游戏场景，提供一个结构化的分类法。
• 论证只有当AI在身体、心智和社会性上与人类几乎无法区分时，才可能实现完全公平的竞争。

提出的方法

• 调查媒体和学术界对主要AI游戏基准测试（如TD-Gammon、AlphaGo、AlphaStar、OpenAI Five）的描述，分析其关于公平性和人类水平表现的主张。
• 提出一个包含输入、输出、动作空间表征和反应时间的多维公平性分类法，用于评估人类-AI游戏比较。
• 通过Atari、星际争霸II和Dota 2等具体案例，说明输入/输出模式和反应速度的差异如何扭曲公平性。
• 讨论技术手段如“粘性动作”（sticky actions）和动作空间抽象（如高层级动作、UI模拟）在减轻AI智能体非人类优势方面的作用。
• 评估强化学习与自我对弈在实现高性能中的作用，同时承认其在表征保真度方面的权衡。
• 论证由于AI架构的多样性以及人类与机器能力完全对齐的不可能性，游戏基准测试中的公平性本质上是不可实现的。

实验结果

研究问题

• RQ1 哪些维度定义了人类-AI游戏竞赛中的公平性？这些维度在不同类型游戏中如何变化？
• RQ2 在多大程度上可以将AI在游戏中的表现视为人类水平智能的有效基准？
• RQ3 为何在游戏基准测试中无法为人类与AI智能体创建完全公平的竞争？
• RQ4 输入模式、动作表征和反应速度的差异如何影响人们对AI游戏结果公平性的感知？
• RQ5 游戏环境中‘超人类’AI能力的出现，对现实世界AI部署有何影响，特别是在公平性和伦理方面的考量？

主要发现

• 由于输入模式、反应速度和动作表征的根本性差异，人类与AI之间不存在完全公平的游戏基准测试。
• AI智能体通常拥有不公平优势，例如亚毫秒级的反应时间以及可访问完整游戏状态信息，而人类无法获得此类信息。
• 使用高层级动作表征（如技能施放）或模拟UI输入（如屏幕点击）会引入抽象化，使其与人类游戏方式产生偏离。
• ‘粘性动作’等技术可降低非人类反应速度的影响，但其最初设计目的仅为应对环境随机性，而非公平性考量。
• 尽管存在这些不平衡，AI游戏基准测试在推动泛化能力、样本效率和现实世界适用性方面仍具有重要价值。
• 公平性的感知高度依赖于语境，常受媒体和公众叙事影响，后者可能夸大AI成就，将其视为迈向通用人工智能（AGI）的里程碑。