[论文解读] How the Experts Do It: Assessing and Explaining Agent Behaviors in Real-Time Strategy Games

Jonathan Dodge, Sean Penney+3 more|arXiv (Cornell University)|Nov 19, 2017

Explainable Artificial Intelligence (XAI)参考文献 27被引用 3

一句话总结

本文研究了《星际争霸II》实时战略游戏中，专家解说员如何在实时情境下评估并解释玩家行为，揭示了在认知与时间限制下实现有效、及时解释的策略。研究提出，交互式AI解释系统应效仿这些专家，优先处理执行器与传感器数据，采用结构化的信息觅食循环，并利用语义属性（空间、时间、定量）简洁传达战术信息，以契合人类心智模型。

ABSTRACT

How should an AI-based explanation system explain an agent's complex behavior to ordinary end users who have no background in AI? Answering this question is an active research area, for if an AI-based explanation system could effectively explain intelligent agents' behavior, it could enable the end users to understand, assess, and appropriately trust (or distrust) the agents attempting to help them. To provide insights into this question, we turned to human expert explainers in the real-time strategy domain, "shoutcaster", to understand (1) how they foraged in an evolving strategy game in real time, (2) how they assessed the players' behaviors, and (3) how they constructed pertinent and timely explanations out of their insights and delivered them to their audience. The results provided insights into shoutcasters' foraging strategies for gleaning information necessary to assess and explain the players; a characterization of the types of implicit questions shoutcasters answered; and implications for creating explanations by using the patterns

研究动机与目标

• 理解人类专家解释者（解说员）如何在《星际争霸II》等实时战略游戏中实时评估并解释复杂智能体行为。
• 识别解说员在实时约束下所使用的信息来源、觅食策略与解释模式。
• 基于专家解释实践，提炼出可提升用户对智能体理解力与信任度的交互式AI解释系统设计原则。
• 研究人类观众如何通过简洁、情境感知的解释形成对智能体行为的心智模型。
• 通过建模专家在动态、部分可观测环境中的解释策略，弥合AI解释系统与人类理解之间的差距。

提出的方法

• 采用信息觅食理论（IFT）作为概念框架，对现场《星际争霸II》解说评论进行定性分析。
• 识别并分类了解说员在游戏过程中觅食的信息片段（例如：执行器输出、传感器输入）。
• 将A-E-P+S循环（评估、解释、预测、+满意）作为实时解释中的核心认知与行为模式进行映射。
• 分析评论中的语言模式，识别解说员如何将语义属性（空间、时间、定量）与游戏对象及动作配对。
• 通过主题编码提取解说员在实时对局中使用的隐含问题、解释目标与抽象层级。
• 通过与专家策略在时机、抽象层级与沟通效率方面对齐，推导出交互式解释系统的设计启示。

实验结果

研究问题

• RQ1 RQ1：解说员为生成解释而寻求哪些信息，以及他们在游戏环境中从何处获取这些信息？
• RQ2 RQ2：解说员如何获取所需信息，哪些线索或触发因素引导其觅食行为？
• RQ3 RQ3：解说员回答了哪些隐含问题，他们如何在实时约束下形成可行且及时的解释？
• RQ4 RQ4：解说员在构建解释时使用了哪些关系与对象，他们如何将属性与游戏元素结合？

主要发现

• 解说员主要从执行器输出（例如：单位移动、攻击）和传感器输入（例如：资源数量、单位可见性）中觅食，表明解释系统应优先处理这些数据类型，而非绩效指标。
• A-E-P+S循环——评估、解释、预测与满意——是主导的认知与行为模式，提示系统应效仿这种结构化实时解释方法。
• 解说员频繁使用空间属性（例如：距离敌方基地的距离）与时间属性（例如：单位生产的时间点）来传达战略意图，从而实现对复杂战术的简洁表达。
• 定量属性被战略性地使用：工人单位最常以确切数字报告（与数字共现46次），而军队规模通常以模糊方式描述（例如：'大量陆战队员'），表明抽象层级具有情境依赖性。
• 解说员常通过非完全精确但可行且及时的解释来满足观众的好奇心，展示了在实时约束下的‘满意’策略。
• 通过将语义属性（形容词、副词）与名词和动词配对，解说员能够高效传达策略与意图，这一模式可被交互式解释系统采纳以实现清晰与简洁。