[论文解读] Document-editing Assistants and Model-based Reinforcement Learning as a Path to Conversational AI

Katya Kudashkina, Patrick M. Pilarski+1 more|arXiv (Cornell University)|Aug 27, 2020

Topic Modeling参考文献 199被引用 4

一句话总结

本文提出将语音文档编辑作为发展对话式人工智能助手的聚焦领域，采用基于模型的强化学习（MBRL）实现有目的、目标导向的交互。通过从真实用户交互中学习并构建内部世界模型，MBRL使助手能够理解用户意图，动态适应，并通过持续的在线学习改善协作，推动实现真正对话式且智能的助手。

ABSTRACT

Intelligent assistants that follow commands or answer simple questions, such as Siri and Google search, are among the most economically important applications of AI. Future conversational AI assistants promise even greater capabilities and a better user experience through a deeper understanding of the domain, the user, or the user's purposes. But what domain and what methods are best suited to researching and realizing this promise? In this article we argue for the domain of voice document editing and for the methods of model-based reinforcement learning. The primary advantages of voice document editing are that the domain is tightly scoped and that it provides something for the conversation to be about (the document) that is delimited and fully accessible to the intelligent assistant. The advantages of reinforcement learning in general are that its methods are designed to learn from interaction without explicit instruction and that it formalizes the purposes of the assistant. Model-based reinforcement learning is needed in order to genuinely understand the domain of discourse and thereby work efficiently with the user to achieve their goals. Together, voice document editing and model-based reinforcement learning comprise a promising research direction for achieving conversational AI.

研究动机与目标

• 解决创建能够理解用户意图并随时间动态适应的对话式人工智能助手的挑战。
• 识别一个紧密聚焦、易于访问的领域——语音文档编辑——以提供对话与目标导向行为的具体、明确的上下文。
• 论证基于模型的强化学习（MBRL）对于使助手学习内部世界模型并高效推理用户目标至关重要。
• 推广从真实用户交互中进行在线、交互式学习，作为构建沟通资源并随时间提升助手性能的方式。
• 将语音文档编辑助手定位为开发具备真正理解力与适应能力的广泛对话式人工智能系统的试验平台。

提出的方法

• 将语音文档编辑用作受控的、现实世界的领域，助手通过自然语言指令与用户交互以修改文本。
• 应用基于模型的强化学习（MBRL）使助手能够从交互中学习环境的预测模型（即文档状态变化）。
• 通过真实人机交互的在线学习训练助手，实现动态适应与沟通策略的共同开发。
• 使用离线数据集（如众包语音转录和机械 Turk 或组织工作流中的编辑日志）对助手进行预训练，以提供初始的结构与语言知识。
• 在真实交互数据有限时（尤其是在早期开发阶段），使用模拟用户或合成数据管道生成训练数据。
• 在 MBRL 中利用时间抽象行为（选项）以支持更高级别的规划与推理，使助手能够将复杂编辑任务作为子目标序列进行管理。

实验结果

研究问题

• RQ1 语音文档编辑能否作为一个可行的、聚焦的领域，用于开发能够深入理解用户目标的对话式人工智能助手？
• RQ2 基于模型的强化学习（MBRL）如何使助手在文档编辑情境中学习内部世界模型并推理用户意图？
• RQ3 在适应性与初始性能方面，在线训练与离线训练相比有何相对优势？
• RQ4 用户与助手如何在实时交互中共同构建沟通资源——共享理解与互动模式？
• RQ5 通过 MBRL 训练的语音编辑助手在多大程度上能实现有目的的行为，即理解并响应高层次用户目标，而不仅仅是执行命令？

主要发现

• 语音文档编辑提供了一个定义明确、易于访问的领域，助手与用户可共同构建共享语境，是研究对话式人工智能的理想场景。
• 基于模型的强化学习（MBRL）使助手能够构建文档状态转换的内部模型，从而实现更高效的规划与目标导向行为。
• 从真实用户交互中进行在线学习使助手能够持续适应，并与用户共同开发沟通策略，提升长期协作质量。
• 使用离线数据集（如众包语音转录与编辑序列）进行预训练可提供关键的语言与结构知识，提升在线适应前的初始性能。
• 在 MBRL 中使用时间抽象行为（选项）支持更高级别的推理，使助手能够将复杂编辑任务作为子目标序列进行管理。
• 所提出的方法不仅推进了语音编辑助手的发展，还为在更广泛领域构建有目的性、自适应的 AI 助手提供了可迁移的洞见。