[论文解读] Understanding Mental Models of AI through Player-AI Interaction

Jennifer Villareale, Jichen Zhu|arXiv (Cornell University)|Mar 30, 2021

Explainable Artificial Intelligence (XAI)参考文献 44被引用 8

一句话总结

本文提出使用基于人工智能的游戏，特别是人机交互动态，作为研究用户对人工智能心理模型演变的受控环境。通过分析游戏数据——如问题的提出方式和失败归因——研究人员可以追踪用户如何迭代地修正其对人工智能能力的理解，从而为设计以人为本的交互式可解释人工智能（XAI）提供关键洞见。

ABSTRACT

Designing human-centered AI-driven applications require deep understandings of how people develop mental models of AI. Currently, we have little knowledge of this process and limited tools to study it. This paper presents the position that AI-based games, particularly the player-AI interaction component, offer an ideal domain to study the process in which mental models evolve. We present a case study to illustrate the benefits of our approach for explainable AI.

研究动机与目标

• 探究用户如何在低风险环境中通过实时互动形成并修正对人工智能的心理模型。
• 弥补对人机交互过程中心理模型动态、即时演变的理解空白。
• 探索游戏数据如何作为心理模型发展的代理指标，补充传统方法（如口头报告法）。
• 通过观察玩家如何根据人工智能反馈调整策略，识别交互式、以用户为中心的可解释人工智能（XAI）的设计启示。
• 考察失败归因（归因于自身 vs. 归因于人工智能）与心理模型精炼及学习之间的关联。

提出的方法

• 通过一款合作性猜词游戏开展案例研究，玩家与智能音箱（如 Alexa）互动以推断目标词汇。
• 收集并分析游戏数据，包括各轮次的问题表述方式，以追踪玩家策略和理解的变化。
• 追踪玩家互动中探索（测试假设）与深化（根据反馈优化问题）的迭代循环。
• 分析轮次后的团队讨论，识别玩家如何归因失败——是归因于自身还是人工智能，从而洞察心理模型的修正过程。
• 采用交互痕迹的定性与序列分析，推断心理模型的发展过程，而不完全依赖自我报告。
• 映射问题结构的变化（例如，从完整句子转向基于关键词的查询）如何体现对人工智能能力的心理模型演变。

实验结果

研究问题

• RQ1 玩家在接收到人工智能反馈后，其问题表述方式如何随时间演变？这揭示了心理模型发展的哪些信息？
• RQ2 失败归因（归因于自身 vs. 归因于人工智能）在塑造用户对人工智能心理模型的修正过程中起到何种作用？
• RQ3 玩家在与人工智能系统互动过程中，其策略如何从探索阶段转向深化阶段？
• RQ4 游戏数据在多大程度上可作为心理模型即时演变的可靠代理指标，尤其与传统自我报告方法相比？
• RQ5 基于观察到的心理模型形成模式，交互式、以人为本的可解释人工智能设计会衍生出哪些启示？

主要发现

• 玩家经历了探索与深化的迭代循环，初期测试宽泛主题，并根据人工智能的回应优化问题。
• 一个关键策略转变是玩家意识到人工智能处理的是关键词而非完整句子，从而开始以类似网络搜索的方式构建问题。
• 将失败归因于自身的玩家更可能修正其心理模型并优化提问策略，表明其学习过程更具适应性。
• 将失败归因于人工智能的玩家往往维持静态的心理模型，并重复类似问题，表明其心理模型演化有限。
• 游戏数据揭示了未被口头报告法或互动后调查捕捉到的、细微且无意识的理解变化。
• 本研究证明，交互痕迹——尤其是问题演变与失败归因——可作为实时心理模型发展的可靠指标。