[论文解读] Domain Authoring Assistant for Intelligent Virtual Agents

Sepehr Janghorbani, Ashutosh Modi+2 more|arXiv (Cornell University)|Apr 5, 2019

Artificial Intelligence in Games参考文献 37被引用 9

一句话总结

本文提出了一种基于自然语言的作者辅助工具，能够从创意作者的自由文本描述中自动生成智能虚拟角色（IVAs）的规划领域模型。该系统利用依存句法分析与词嵌入技术，将人格、情绪和行为描述转化为可执行的规划领域，同时识别缺失或不一致的信息，在标准黄金数据集上实现了86.25%的状态与动作提取准确率。

ABSTRACT

Developing intelligent virtual characters has attracted a lot of attention in the recent years. The process of creating such characters often involves a team of creative authors who describe different aspects of the characters in natural language, and planning experts that translate this description into a planning domain. This can be quite challenging as the team of creative authors should diligently define every aspect of the character especially if it contains complex human-like behavior. Also a team of engineers has to manually translate the natural language description of a character's personality into the planning domain knowledge. This can be extremely time and resource demanding and can be an obstacle to author's creativity. The goal of this paper is to introduce an authoring assistant tool to automate the process of domain generation from natural language description of virtual characters, thus bridging between the creative authoring team and the planning domain experts. Moreover, the proposed tool also identifies possible missing information in the domain description and iteratively makes suggestions to the author.

研究动机与目标

• 自动化将自然语言描述的IVA人格与行为转化为正式的规划领域知识，减少对人工工程的依赖。
• 支持创意作者自由描述角色特征，而无需掌握技术性规划知识，从而提升创作自由度。
• 识别领域描述中缺失或不一致的信息，并迭代地向作者提出改进建议。
• 通过允许直接从自然语言编写可执行的代理行为，弥合创意团队与规划领域专家之间的鸿沟。
• 评估系统在生成正确规划领域及支持用户创作方面的准确率与可用性。

提出的方法

• 系统使用依存图解析从描述角色行为、情绪与人格的自然语言句子中提取句法关系。
• 使用词嵌入表示状态与动作，实现自然语言与规划领域元素之间的语义匹配。
• 句子简化模块将复杂句子分解为更简单、可分析的单元，以提高解析准确率。
• 系统执行迭代验证，标记不完整或不一致的领域描述，并提出修正建议。
• 基于GUI的界面允许作者输入描述，并实时预览生成的规划领域。
• 通过精确率、召回率与F1值等指标，将输出结果与标准黄金数据集进行对比验证，用于状态与动作识别。

实验结果

研究问题

• RQ1 自然语言接口能否准确地将创意作者对IVA人格与行为的描述转化为可执行的规划领域？
• RQ2 该系统在检测并建议修正领域描述中缺失或不一致信息方面的有效性如何？
• RQ3 在将自然语言映射到正式规划语言（如PDDL）时，系统在语义准确性方面保持程度如何？
• RQ4 该工具在真实创作任务中对非技术性创意作者的可用性如何？
• RQ5 该系统能否泛化应用于不同类型IVA行为，包括复杂或抽象的情绪状态？

主要发现

• 系统在识别80个标准黄金数据集中的动作预/后置条件时，准确率达到86.25%，正确识别出69个。
• 在11处不匹配中，系统识别出10个错误条件，并遗漏1个条件，错误最常出现在语义细微的状态上，如‘(Max, has, money)’和‘(Max, focus, typing)’。
• 状态‘(Max, focus, typing)’与语义相近的状态如‘(Max, focus, play)’和‘(Max, focus, help_customers)’产生混淆，凸显基于嵌入的状态相似性计算的挑战。
• 用户研究显示，81%的参与者认为GUI方便且易于使用，SUS得分为61.2，表明可用性中等。
• 系统成功生成了所有预期的状态与动作，证明其在极低技术门槛下实现真实IVAs创作的可行性。
• 用户积极评价该工具建议改进与检测不一致信息的能力，支持其在迭代式、创造性创作中的作用。