[论文解读] Automatable Evaluation Method Oriented toward Behaviour Believability for Video Games

Fabien Tencé, Cédric Buche|arXiv (Cornell University)|Sep 2, 2010

Artificial Intelligence in Games参考文献 5被引用 9

一句话总结

本文提出了一种可自动执行的、基于签名的方法，通过比较行为向量与人类行为向量，利用地球移动距离（EMD）度量相似性，评估电子游戏角色的可信度。该方法实现了高通量、可重复的评估，无需人工裁判，即使使用简单的基于运动的签名，也能揭示角色与人类之间的细微差异。

ABSTRACT

Classic evaluation methods of believable agents are time-consuming because they involve many human to judge agents. They are well suited to validate work on new believable behaviours models. However, during the implementation, numerous experiments can help to improve agents' believability. We propose a method which aim at assessing how much an agent's behaviour looks like humans' behaviours. By representing behaviours with vectors, we can store data computed for humans and then evaluate as many agents as needed without further need of humans. We present a test experiment which shows that even a simple evaluation following our method can reveal differences between quite believable agents and humans. This method seems promising although, as shown in our experiment, results' analysis can be difficult.

研究动机与目标

• 减少在评估角色可信度时对人工裁判的依赖，因为人工评估耗时且不适用于大规模测试。
• 开发一种方法，实现在迭代开发与优化过程中对角色行为进行自动化、可重复的评估。
• 创建能够捕捉电子游戏中类人决策与运动模式关键特征的行为签名。
• 评估基于向量的相似性度量（尤其是EMD）是否能有效检测人类与角色行为之间的差异。
• 探索该方法作为传统人工评估的补充工具在角色可信度研究中的可行性。

提出的方法

• 将角色与人类的行为表示为特征向量（签名），这些签名源自游戏环境中监控到的感知与动作数据。
• 使用地球移动距离（EMD）度量计算行为签名之间的差异性，优先考虑形状相似性而非简单的L2距离。
• 在相同条件下收集人类玩家与角色的行为数据，以确保公平比较。
• 应用多维缩放（MDS）技术，可视化基于EMD的差异性矩阵，以保持签名之间相对距离的保真度。
• 基于速度变化与相对方向设计签名，以捕捉与可信度相关的运动模式。
• 在迭代式工作流中应用该方法，对角色行为模型进行评估与调优，而无需重复的人工输入。

实验结果

研究问题

• RQ1 从动作与感知数据中提取的行为签名是否能有效捕捉电子游戏中类人的行为？
• RQ2 当L2距离失效时，地球移动距离（EMD）在多大程度上能检测出人类与角色行为模式之间的有意义差异？
• RQ3 基于签名的自动化评估与人工判断在检测可信度差异方面相比如何？
• RQ4 该方法是否能支持在优化工作流中对可信角色行为进行参数调优？
• RQ5 哪类签名（全局、上下文、时间）在检测细微可信度线索方面最为有效？

主要发现

• 地球移动距离（EMD）在检测行为签名相似性方面优于L2距离，即使V1与V2的L2距离相等，EMD仍能正确识别出它们最为相似。
• 基于EMD的差异性矩阵经多维缩放（MDS）可视化后，原始距离的保真度良好，应力值低于0.003，表明表示结果质量高。
• 尽管仅使用了两个简单的基于运动的签名，该方法仍揭示出角色的行为模式在感知上与人类存在明显差异，尤其是在通过主成分分析（PCA）分析时，人类与角色聚类的分离更加清晰。
• 该方法检测到，尽管角色在整体运动模式上与人类相似，但由于缺乏输入限制（如键盘限制）而表现出非人类的精确性，因此在细致观察下可被轻易识别。
• 结果表明，虽然全局签名可揭示广泛的相似性，但要实现更高保真度的可信度评估，可能需要结合上下文与时间签名。
• 该方法实现了无需人工裁判的可扩展、可重复的评估，支持集成到自动化开发工作流中。