[论文解读] Robust Conversational AI with Grounded Text Generation

Jianfeng Gao, Baolin Peng+5 more|arXiv (Cornell University)|Sep 7, 2020

Topic Modeling参考文献 81被引用 15

一句话总结

本文提出了一种混合的基于常识的文本生成（GTG）模型，通过将大规模预训练的Transformer与符号知识模块相结合，构建出稳健、可扩展的任务导向对话系统。通过整合神经生成、结构化知识推理与信念状态追踪，GTG实现了可靠、可解释且可控的任务完成，在基准评估和交互式场景中均优于端到端神经模型。

ABSTRACT

This article presents a hybrid approach based on a Grounded Text Generation (GTG) model to building robust task bots at scale. GTG is a hybrid model which uses a large-scale Transformer neural network as its backbone, combined with symbol-manipulation modules for knowledge base inference and prior knowledge encoding, to generate responses grounded in dialog belief state and real-world knowledge for task completion. GTG is pre-trained on large amounts of raw text and human conversational data, and can be fine-tuned to complete a wide range of tasks. The hybrid approach and its variants are being developed simultaneously by multiple research teams. The primary results reported on task-oriented dialog benchmarks are very promising, demonstrating the big potential of this approach. This article provides an overview of this progress and discusses related methods and technologies that can be incorporated for building robust conversational AI systems.

研究动机与目标

• 解决现有任务导向对话系统在依赖人工规则或纯神经端到端模型时所面临的鲁棒性与可扩展性不足问题。
• 使任务聊天机器人能够基于对话信念状态和现实世界知识生成响应，确保可解释性与可靠性。
• 开发一个可扩展的框架，支持持续学习、知识蒸馏和零样本泛化，以适应真实世界部署需求。
• 将该方法从任务聊天机器人扩展至需要个性、情感智能和社会常识的社交聊天机器人。

提出的方法

• GTG模型采用多层Transformer作为序列建模主干网络，其参数在信念追踪、动作选择与响应生成的模块化流程中共享。
• 通过集成符号模块实现知识库推理，并编码常识知识与业务规则，以确保与现实世界事实的对齐。
• 模型采用三阶段预训练：(1) 在原始文本上进行语言建模，(2) 在异构对话数据上进行任务完成训练，(3) 在标注对话数据上进行特定任务微调。
• 引入统一的机器教学用户界面，支持人机协同的持续学习，实现模型错误的迭代修正与知识库的动态更新。
• 探索基于模型的强化学习（如DDQ智能体），通过内部环境模型与奖励函数实现规划与环境变化的适应。
• 应用与任务无关的知识蒸馏技术，减小模型规模，以支持在资源受限设备上的部署。

实验结果

研究问题

• RQ1 混合神经-符号架构是否能在任务导向对话中实现比纯神经端到端模型更强的鲁棒性与可靠性？
• RQ2 如何有效将大规模预训练语言模型与对话信念状态及外部知识库对齐，以支持任务完成？
• RQ3 GTG框架在动态、真实世界环境中支持持续学习与适应的能力有多大？
• RQ4 GTG模型能否泛化到已知对话技能的新组合，实现复杂任务的零样本泛化？
• RQ5 如何通过交互式、社会性对齐的学习方式，构建具备一致个性与情感智能的社交聊天机器人？

主要发现

• GTG模型在任务导向对话基准测试中表现优异，相较于端到端神经模型，在可靠性与可控性方面有显著提升。
• 交互式评估表明，GTG生成的响应比纯神经模型更具可解释性与任务合规性。
• 混合架构通过符号模块有效注入知识，减少幻觉现象，提升与现实世界事实的对齐程度。
• 通过人机协同界面实现的持续学习，可在生产环境中实现模型的迭代优化与知识库的动态更新。
• 知识蒸馏技术显著减小了模型规模，且性能下降不明显，使模型可在低资源设备上部署。
• 基于模型的强化学习（如DDQ智能体）通过内部模拟与基于奖励的优化，实现了自适应规划与对环境变化的快速响应。