[论文解读] Measuring Human Adaptation to AI in Decision Making: Application to Evaluate Changes after AlphaGo

Minkyu Shin, Jin Kim+1 more|arXiv (Cornell University)|Dec 30, 2020

Explainable Artificial Intelligence (XAI)参考文献 23被引用 4

一句话总结

本文提出了人类-AI差距（Human-AI Gap）这一衡量指标，用于量化人类在决策中对人工智能的适应程度，通过比较人类走法质量与超人类AI（如AlphaGo）的表现。研究发现，观察AI的推理过程——而不仅仅是其走法——能显著促进有意义的学习；同时，该指标还能检测出AI辅助作弊行为，表明其在医疗、教育等领域的广泛应用潜力。

ABSTRACT

Across a growing number of domains, human experts are expected to learn from and adapt to AI with superior decision making abilities. But how can we quantify such human adaptation to AI? We develop a simple measure of human adaptation to AI and test its usefulness in two case studies. In Study 1, we analyze 1.3 million move decisions made by professional Go players and find that a positive form of adaptation to AI (learning) occurred after the players could observe the reasoning processes of AI, rather than mere actions of AI. These findings based on our measure highlight the importance of explainability for human learning from AI. In Study 2, we test whether our measure is sufficiently sensitive to capture a negative form of adaptation to AI (cheating aided by AI), which occurred in a match between professional Go players. We discuss our measure's applications in domains other than Go, especially in domains in which AI's decision making ability will likely surpass that of human experts.

研究动机与目标

• 开发一种客观、可量化的指标，用于衡量人类在决策情境中对AI的适应程度。
• 探究人类专家在接触超人类AI（如AlphaGo）后，其决策质量是否以及在何种情况下得到提升。
• 评估所提出的指标是否能检测到负面适应行为，例如在竞技环境中存在AI辅助作弊的情况。
• 评估该指标在AI表现优于人类但人类仍为最终决策者的领域中的广泛适用性。
• 探索影响个体或群体对AI适应速度差异的因素。

提出的方法

• 将人类-AI差距定义为人类玩家与超人类AI之间决策质量的差异，以基于强化学习的AI输出作为黄金标准。
• 利用历史职业围棋对局数据（130万手）比较AI出现前后的人类走法质量。
• 通过AlphaGo学习到的策略模型，将人类决策与AI的走法质量进行对比，将其作为最优对弈的基准。
• 分析人类-AI差距随时间及不同玩家群体的变化，以识别学习或作弊模式。
• 应用该指标检测走法质量异常，以识别AI协助的迹象，例如表现突然飙升。
• 使用统计建模方法评估人类决策质量的提升是否与接触AI推理过程相关，而不仅仅是其走法结果。

实验结果

研究问题

• RQ1 与仅接触AI走法相比，接触AI推理过程是否能带来人类决策质量的可测量提升？
• RQ2 人类对AI的适应在对局的何时何地最为显著？
• RQ3 人类-AI差距指标能否检测出职业围棋比赛中AI辅助作弊的实例？
• RQ4 接触AI推理过程在多大程度上影响不同专家群体的适应速度？
• RQ5 人类-AI差距在医疗、教育或商业等其他领域在多大程度上可推广使用？

主要发现

• 人类专家在获得AI推理过程信息后，决策质量显著提升，而不仅仅是其走法输出。
• 最显著的学习发生在围棋对局的早期至中期阶段（第1至50手），人类玩家开始模仿AI策略。
• 能够接触AI推理过程的专家，其人类-AI差距明显缩小，表明其适应速度优于无此访问权限者。
• 人类-AI差距指标成功检测出一起已知的AI辅助作弊案例，该玩家的走法质量突然与AI输出高度一致。
• 该指标揭示，可解释性——即理解AI为何做出某一步——对于有效的人类学习至关重要，而不仅仅是观察结果。
• 人类-AI差距具备足够敏感度，可同时检测到积极适应（学习）与消极适应（作弊），支持其在各类高风险决策场景中的应用。