[论文解读] I love your chain mail! Making knights smile in a fantasy game world: Open-domain goal-oriented dialogue agents

Shrimai Prabhumoye, Margaret Li+5 more|arXiv (Cornell University)|Feb 7, 2020

Speech and dialogue systems参考文献 34被引用 8

一句话总结

本文提出了一种新颖的开放域、目标导向对话任务，该任务基于一个丰富的幻想类文字游戏环境，其中智能体需通过自然对话说服他人执行特定动作。采用基于主题建模或 top-k 话语选择的强化学习方法，所提模型在 3 步任务中取得 56.1% 的成功率，优于模仿学习与逆模型基线，且生成的对话具有与世界知识一致的人类自然语言特征。

ABSTRACT

Dialogue research tends to distinguish between chit-chat and goal-oriented tasks. While the former is arguably more naturalistic and has a wider use of language, the latter has clearer metrics and a straightforward learning signal. Humans effortlessly combine the two, for example engaging in chit-chat with the goal of exchanging information or eliciting a specific response. Here, we bridge the divide between these two domains in the setting of a rich multi-player text-based fantasy environment where agents and humans engage in both actions and dialogue. Specifically, we train a goal-oriented model with reinforcement learning against an imitation-learned ``chit-chat'' model with two approaches: the policy either learns to pick a topic or learns to pick an utterance given the top-K utterances from the chit-chat model. We show that both models outperform an inverse model baseline and can converse naturally with their dialogue partner in order to achieve goals.

研究动机与目标

• 通过创建一个真实、开放域的环境，弥合闲聊式对话与目标导向对话之间的差距，使智能体必须通过自然对话达成特定动作。
• 开发强化学习智能体，使其学习有效的对话策略，以说服他人执行特定游戏内动作（例如：穿戴锁子甲、饮用麦酒）。
• 评估在复杂、具身的对话设定中，使用潜在主题或 top-k 话语选择的强化学习是否能优于模仿学习与逆模型基线。
• 分析模型在多轮、开放式对话任务中的泛化能力、过拟合现象以及话语重复模式。

提出的方法

• 任务设定在 LIGHT 游戏环境中，该环境为一个包含 663 个地点、1755 个角色和 3462 个物品的文本型幻想世界，支持自由形式对话与具身动作。
• 智能体通过强化学习选择话语，以促使对话伙伴执行目标动作（例如：拥抱、饮用、穿戴），当目标动作被执行时获得奖励。
• 采用两种强化学习方法：(1) 基于主题的策略，通过选择主题来引导话语生成；(2) top-K 话语选择方法，从预训练的闲聊模型输出中采样 top-k 结果。
• 训练一个强大的逆模型基线，以模仿人类演示，学习从对话上下文中预测动作。
• 在 1 步与 3 步任务上评估模型性能，以达成目标动作的成功率作为衡量指标。
• 训练使用人类游戏数据（10,777 个对局），划分为训练集、验证集与测试集，包含已见与未见的环境。

实验结果

研究问题

• RQ1 强化学习智能体能否在丰富、开放的世界中学习生成自然且上下文恰当的对话，从而成功说服他人执行特定游戏内动作？
• RQ2 在强化学习中使用潜在主题或 top-k 话语选择，是否能比模仿学习或逆模型方法带来更好的目标达成效果？
• RQ3 模型性能与泛化能力在不同动作类型（如：拥抱、击打、饮用）及任务难度（1 步 vs. 3 步可达成）下如何变化？
• RQ4 模型在多大程度上学习到了语义上合理的语言-世界关联？其话语重复与连贯性表现如何？

主要发现

• 基于主题的强化学习模型在 3 步任务中达到 56.1% 的成功率，显著优于逆模型基线与 1 步 3 倍基线，后者在长序列任务中表现较差。
• top-k 话语选择方法同样优于逆模型基线，且随着模型容量（K 值或主题数）增加，性能持续提升，峰值出现在 K=200 或 200 个主题时。
• 基于主题的强化学习模型学习到了具有语义意义的话语，例如针对‘饮用’目标生成‘尝一口这个’，针对‘击打’目标生成‘呸，你这可恶的生物，别碰我！’，表明其具备具身化的语言理解能力。
• 性能因动作类型而异，较简单、明确的动作如‘拥抱’（85% 成功率）和‘击打’（75% 成功率）表现最佳，而更模糊的动作如‘获取’、‘丢弃’或‘给予’成功率较低。
• 非 1 步可达成的目标显著更难，模型在这些任务上的成功率明显更低，凸显了未来研究的关键挑战。
• 基于主题的强化学习模型话语重复率为 25.8%（平均 15.59%），低于 1 步 3 倍基线（37.3% 与 22.94%），表明其具有更好的多样性与更低的冗余性。