[论文解读] CraftAssist: A Framework for Dialogue-enabled Interactive Agents

Jonathan Gray, Kavya Srinet+7 more|arXiv (Cornell University)|Jul 19, 2019

Multi-Agent Systems and Negotiation参考文献 38被引用 18

一句话总结

CraftAssist 引入了一种模块化、支持对话的框架，用于 Minecraft 中的交互式智能体，通过游戏内聊天和结构化任务执行实现人机协作。该框架提供开源工具、带注释的数据集（2,586 栋带有语义解析的房屋），以及一种流水线式架构，用于研究开放环境中自然语言理解与从人类互动中学习的机制。

ABSTRACT

This paper describes an implementation of a bot assistant in Minecraft, and the tools and platform allowing players to interact with the bot and to record those interactions. The purpose of building such an assistant is to facilitate the study of agents that can complete tasks specified by dialogue, and eventually, to learn from dialogue interactions.

研究动机与目标

• 开发一种灵活、交互式的 Minecraft 机器人助手，能够理解并执行自然语言指令。
• 通过提供一个平台来收集和标注人类-机器人交互数据，支持研究能够从对话互动中学习的智能体。
• 通过一种模块化、可扩展的框架，支持在开放、长尾任务分布场景下研究情境化自然语言理解。
• 通过发布代码、数据集和基础设施，促进协作研究，支持数据收集与机器人部署。

提出的方法

• 该框架采用客户端-服务器架构，通过 Minecraft 网络协议将机器人与 Minecraft 服务器连接，实现无缝多人互动。
• 其流水线式架构包含独立的模块，分别用于自然语言理解、符号化世界状态追踪，以及使用关系型数据库执行动作。
• 机器人通过语义解析器解释自然语言指令，将话语映射为逻辑形式，再通过预定义的动作词典执行。
• 模块化设计允许独立开发和测试组件，如解析器、世界状态管理器和动作执行器。
• 系统记录人类互动数据，包括指令、动作和重述内容，用于生成语义解析和对话学习的训练数据。
• 平台包含用于标注房屋组件（如墙壁、屋顶）的工具，并可生成重述的指令模板，以支持数据增强。

实验结果

研究问题

• RQ1 如何构建一个交互式智能体，使其能够在 Minecraft 等复杂、开放的环境中理解并执行多样化的自然语言指令？
• RQ2 哪些设计模式能够支持可扩展、模块化的对话智能体开发，并可轻松扩展新功能？
• RQ3 如何系统性地收集和结构化人类-机器人交互数据，以支持语义解析和任务执行的学习？
• RQ4 在对话智能体系统中，模块化流水线架构与端到端学习方法之间存在哪些权衡？
• RQ5 符号化记忆和结构化世界状态表示如何提升交互式智能体的可解释性与可扩展性？

主要发现

• 该框架成功支持了 Minecraft 中的人机协作，机器人可通过游戏内聊天响应自然语言指令，并完成复杂的建造任务。
• 2,586 栋人类建造的房屋及其详细注释的发布，为大规模训练和评估语义解析模型提供了支持。
• 模块化架构允许独立开发和扩展组件，例如添加新动作或改进语义解析器。
• 系统支持大规模数据收集，包括模板的重述和逻辑形式映射，为未来端到端学习方法提供支持。
• 使用关系型数据库的符号化记忆模型提升了调试效率，支持外部知识（如建筑图样）的集成，并实现可靠的查找操作。
• 该平台已开源，代码、数据和基础设施均已发布，以支持社区驱动的交互式智能体研究。