[论文解读] Mastering the Dungeon: Grounded Language Learning by Mechanical Turker Descent

Zhilin Yang, Saizheng Zhang+6 more|arXiv (Cornell University)|Nov 21, 2017

Topic Modeling被引用 21

一句话总结

本文提出机械Turker下降（MTD），一种游戏化的人机交互学习框架，人类Turker在基于文本的冒险游戏中通过竞争与协作的方式，共同训练AI智能体以遵循自然语言指令。MTD通过生成更高质量、更具适应性的训练数据，优于静态数据集收集方法，使智能体在基础语言理解任务上的准确率最高提升8.4%，hits@1最高提升13.2%。

ABSTRACT

Contrary to most natural language processing research, which makes use of static datasets, humans learn language interactively, grounded in an environment. In this work we propose an interactive learning procedure called Mechanical Turker Descent (MTD) and use it to train agents to execute natural language commands grounded in a fantasy text adventure game. In MTD, Turkers compete to train better agents in the short term, and collaborate by sharing their agents' skills in the long term. This results in a gamified, engaging experience for the Turkers and a better quality teaching signal for the agents compared to static datasets, as the Turkers naturally adapt the training data to the agent's abilities.

研究动机与目标

• 为解决静态数据集在自然语言处理中的局限性，提出一种交互式、环境相关的语言学习方法。
• 开发一种可扩展的人机协同框架，使训练数据能随智能体能力的演进而自适应调整。
• 通过游戏化设计和实时反馈，在协作竞争环境中提升数据质量和智能体性能。
• 证明交互式学习结合人类反馈可实现比静态数据收集更有效的语言对齐。

提出的方法

• MTD采用竞争与协作并行的双循环机制：Turker在每轮中训练智能体以赢得奖励，同时其数据在各轮间共享，以提升整体表现。
• Turker在名为《掌握地牢》（Mastering the Dungeon）的文本冒险游戏中提供自然语言命令-动作对（$x, y$），这些指令基于图结构化的环境。
• 使用Seq2Seq或以动作为中心的Seq2Seq（AC-Seq2Seq）模型训练智能体，利用环境的图结构实现更好的泛化能力。
• 实时共享模型预测结果，以指导Turker决策，实现动态课程调整和反馈驱动的数据收集。
• 训练过程中引入排行榜和性能反馈，提升Turker参与度与数据质量。
• 使用保留的测试集对所有模型进行评估，确保MTD与基线方法在相同条件下进行公平比较。

实验结果

研究问题

• RQ1 与静态数据集收集相比，结合游戏化设计的交互式、人机协同学习是否能提升基础语言理解能力？
• RQ2 将数据分布与智能体当前能力相匹配，是否能带来更优的学习效果？
• RQ3 实时模型反馈在多大程度上影响人类提供训练数据的质量与有效性？
• RQ4 当与人类反馈结合时，环境结构（如基于图的世界状态）在多大程度上提升学习效果？
• RQ5 参与度与动态数据自适应在提升智能体性能方面各自贡献如何？

主要发现

• MTD在准确率上相比仅协作的基线方法最高提升8.4个百分点，hits@1最高提升13.2分，证明其数据质量与学习效率更优。
• MTD设置下的Turker平均生成的训练样本比MTD极限条件多30%，表明游戏化设计显著提升了参与度。
• 模型反馈显著提升性能：MTD优于无模型反馈的MTD极限条件，表明数据与智能体能力的动态对齐至关重要。
• AC-Seq2Seq模型相比标准Seq2Seq模型在准确率上最高提升15.7个百分点，证实环境图结构提供的归纳偏置具有实际价值。
• 消融研究证实，基于世界状态约束动作集并追踪先前动作可提升性能，凸显模型架构的优势。
• 学习曲线显示MTD各变体在所有指标（准确率、hits@1、F1）上均呈现持续且稳定的提升，MTD实现最佳收敛效果。