[论文解读] I Cast Detect Thoughts: Learning to Converse and Guide with Intents and Theory-of-Mind in Dungeons and Dragons

Pei Zhou, Andrew Zhu+6 more|arXiv (Cornell University)|Dec 20, 2022

Software Engineering Research被引用 9

一句话总结

本文提出了 G4C，一项用于训练《龙与地下城》AI裁判的新型任务，通过显式建模沟通意图与心智理论（ToM），生成目标导向、具身化的指导。该方法采用强化学习框架，奖励预测的玩家反应与预期行为的一致性，使符合意图的响应比例相比标准自然语言生成（NLG）方法提升三倍。

ABSTRACT

We propose a novel task, G4C, to study teacher-student natural language interactions in a goal-driven and grounded environment. Dungeons and Dragons (D&D), a role-playing game, provides an ideal setting to investigate such interactions. Here, the Dungeon Master (DM), i.e., the teacher, guides the actions of several players -- students, each with their own personas and abilities -- to achieve shared goals grounded in a fantasy world. Our approach is to decompose and model these interactions into (1) the DM's intent to guide players toward a given goal; (2) the DM's guidance utterance to the players expressing this intent; and (3) a theory-of-mind (ToM) model that anticipates the players' reaction to the guidance one turn into the future. We develop a novel reinforcement learning (RL) method for training a DM that generates guidance for players by rewarding utterances where the intent matches the ToM-anticipated player actions. Human and automated evaluations show that a DM trained to explicitly model intents and incorporate ToM of the players using RL generates better-quality guidance that is 3x more likely to fulfill the DM's intent than a vanilla natural language generation (NLG) approach.

研究动机与目标

• 研究《龙与地下城》等互动环境中目标驱动、具身化的自然语言交流。
• 解决现有对话代理未能显式建模沟通意图与心智理论（ToM）的缺陷。
• 开发一种训练框架，通过使生成的语句与预期行为及预测的玩家反应对齐，提升指导质量。
• 构建大规模、高质量的数据集（G-Dragon），包含意图与 ToM 标注，用于训练与评估。
• 评估显式建模意图与 ToM 对提升 AI 生成指导的连贯性与目标导向性的作用。

提出的方法

• 围绕三个核心组件构建 G4C 任务：教师意图、指导语句与学生行为，所有内容均基于共享的叙事世界。
• 使用逆向动力学建模（IDM）从 Callison-Burch 等人（2022）收集的 47k 份 D&D 对话记录中提取高质量的意图与行为标签。
• 从大型语言模型（GPT-3）中挖掘沟通意图，并将其作为显式上下文用于条件化指导生成。
• 训练一个强化学习（RL）智能体，通过 ToM 模型预测玩家的下一步行为，再根据预测行为是否匹配 DM 的预期行为进行奖励。
• 设计一种奖励函数，将 ToM 预测行为与目标意图进行比较，使智能体能够优化意图实现。
• 整合人类与自动化评估指标，以评估生成指导的具身性、连贯性与意图实现程度。

实验结果

研究问题

• RQ1 显式建模沟通意图是否能提升目标驱动、具身化对话中 AI 生成指导的质量？
• RQ2 心智理论（ToM）建模——即预测玩家对指导的反应——是否能增强 AI 生成语句的有效性？
• RQ3 一种将预测玩家行为与预期行为对齐的强化学习方法，在多大程度上提升了意图实现？
• RQ4 与标准自然语言生成（NLG）基线相比，基于 ToM 的 RL 智能体在具身化、叙事驱动对话中的表现如何？
• RQ5 自动化与人类评估指标是否能可靠捕捉复杂叙事互动中意图实现与具身性的表现？

主要发现

• 通过显式意图建模与基于 ToM 的强化学习训练的 DM，其生成指导使目标行为实现的概率比标准 NLG 基线高出三倍。
• 基于 ToM 的 RL 智能体显著提升了 DM 意图与玩家实际反应之间的对齐程度，表现为意图实现率明显提高。
• 人类评估确认，经 ToM 增强的指导更具连贯性、上下文具身性，并更有效地引导玩家实现目标行为。
• 自动化评估指标与人工判断结果高度相关，验证了其在评估具身性与意图实现方面的有效性。
• 该方法在生成上下文恰当且战略有效的叙事驱动角色扮演游戏指导方面，优于标准 NLG 方法。
• 包含 47k 份 D&D 对话的 G-Dragon 数据集，为训练与评估目标驱动、具身化对话系统提供了丰富且高质量的资源。