[论文解读] Aligning Superhuman AI with Human Behavior: Chess as a Model System

Reid McIlroy-Young, Siddhartha Sen+2 more|arXiv (Cornell University)|Jun 2, 2020

Sports Analytics and Performance参考文献 12被引用 22

一句话总结

本文提出 Maia，一种基于 AlphaZero 的定制化 AI 模型，通过在人类国际象棋对局数据上进行微调，能够以显著高于现有引擎的准确度预测人类走法。通过在不同水平玩家的走法级数据上进行训练，Maia 实现了与人类行为的可调谐对齐，并在预测单个及集体性失误方面优于基线模型，展示了通过细致的行为建模实现人机协作的路径。

ABSTRACT

As artificial intelligence becomes increasingly intelligent---in some cases, achieving superhuman performance---there is growing potential for humans to learn from and collaborate with algorithms. However, the ways in which AI systems approach problems are often different from the ways people do, and thus may be uninterpretable and hard to learn from. A crucial step in bridging this gap between human and artificial intelligence is modeling the granular actions that constitute human behavior, rather than simply matching aggregate human performance. We pursue this goal in a model system with a long history in artificial intelligence: chess. The aggregate performance of a chess player unfolds as they make decisions over the course of a game. The hundreds of millions of games played online by players at every skill level form a rich source of data in which these decisions, and their exact context, are recorded in minute detail. Applying existing chess engines to this data, including an open-source implementation of AlphaZero, we find that they do not predict human moves well. We develop and introduce Maia, a customized version of Alpha-Zero trained on human chess games, that predicts human moves at a much higher accuracy than existing engines, and can achieve maximum accuracy when predicting decisions made by players at a specific skill level in a tuneable way. For a dual task of predicting whether a human will make a large mistake on the next move, we develop a deep neural network that significantly outperforms competitive baselines. Taken together, our results suggest that there is substantial promise in designing artificial intelligence systems with human collaboration in mind by first accurately modeling granular human decision-making.

研究动机与目标

• 通过建模人类行为的细微动作而非仅整体表现，弥合超人类 AI 与人类决策之间的差距。
• 探究是否通过简单降低 AI 系统性能（如减少计算量）即可使其行为与人类一致，还是需要更复杂的参数化方法。
• 开发一种可调节以匹配特定技能水平人类行为的 AI 系统，从而实现更优的人机协作与教学。
• 利用人类对局数据的深度学习方法，提升对人类失误（如严重失误）的预测能力。
• 将国际象棋确立为研究专家级决策领域中细粒度人机对齐的模型系统。

提出的方法

• 在大规模人类国际象棋对局数据集上微调一个深度强化学习模型（基于 AlphaZero），生成 Maia 模型，使其能够以高准确度预测人类走法。
• 采用残差卷积神经网络（CNN）架构处理棋盘状态和元数据，实现高保真度的走法预测。
• 采用课程学习方法训练 Maia，通过可调温度参数调整模型策略，使其与特定技能水平的人类行为相匹配。
• 应用多任务学习框架，联合预测下一个走法及该走法为失误的可能性。
• 通过将重复出现的棋盘状态按位置分组，训练集体性失误预测模型，降低噪声并提升泛化能力。
• 使用真实人类对局测试集，与随机森林、全连接网络和标准国际象棋引擎等强基线模型进行性能对比。

实验结果

研究问题

• RQ1 现有超人类 AI 系统是否能够被调整以准确预测人类走法，还是其决策策略与人类存在根本性差异？
• RQ2 通过降低 AI 系统性能（如减少计算量）是否能使其行为与人类决策对齐，还是会导致行为偏离？
• RQ3 是否可以训练一个深度学习模型，以高准确度预测人类走法，同时通过参数化方式匹配特定技能水平？
• RQ4 AI 模型在多大程度上能够预测人类在国际象棋中可能犯下重大错误（失误）？
• RQ5 对国际象棋中人类行为的细粒度建模，是否能揭示超越标准等级分量表的新技能维度？

主要发现

• 当使用棋盘状态和元数据时，Maia 在预测单个走法上的准确率达到 71.7%，显著优于最佳基线模型（全连接网络为 66.0%）。
• Maia 所采用的残差 CNN 架构在走法预测中达到 71.7% 的准确率，表明更深层、更具表达力的模型对于实现与人类行为的高对齐至关重要。
• Maia 可被调节以与特定技能水平的人类行为对齐，使其在特定等级分范围内的玩家中实现最大走法预测准确率。
• 在集体性失误预测任务中，深度残差 CNN 模型达到 76.9% 的准确率，优于简单模型，表明分组数据可降低噪声并提升预测性能。
• 该模型在预测人类是否将在下一步出现重大失误方面显著优于竞争性基线，显示出在人机协作中实现错误检测的强潜力。
• 结果表明，简单降低 AI 系统性能并不能使其行为与人类对齐，而基于人类数据的针对性微调对于实现有效的人机对齐至关重要。