[论文解读] Lifelong Knowledge Learning in Rule-based Dialogue Systems

Bing Liu, Chuhe Mei|arXiv (Cornell University)|Nov 19, 2020

Speech and dialogue systems参考文献 20被引用 12

一句话总结

本文提出了一种基于规则的对话系统的终身知识学习框架，支持从用户交互中在线获取知识。通过使用基于规则的模式匹配和置信度评分，从用户话语中提取并验证新知识，系统在无需重新训练的情况下逐步扩展其知识库，显著提升了真实部署环境下的长期性能和用户参与度。

ABSTRACT

One of the main weaknesses of current chatbots or dialogue systems is that they do not learn online during conversations after they are deployed. This is a major loss of opportunity. Clearly, each human user has a great deal of knowledge about the world that may be useful to others. If a chatbot can learn from their users during chatting, it will greatly expand its knowledge base and serve its users better. This paper proposes to build such a learning capability in a rule-based chatbot so that it can continuously acquire new knowledge in its chatting with users. This work is useful because many real-life deployed chatbots are rule-based.

研究动机与目标

• 解决基于规则的聊天机器人在部署后无法从用户交互中学习的局限性。
• 实现实时对话过程中的持续、增量式知识获取。
• 开发一种可扩展的在线学习机制，提升聊天机器人知识而无需重新训练。
• 通过用户提供的知识随时间推移提升聊天机器人性能和用户满意度。

提出的方法

• 使用预定义的规则模板和模式匹配，从用户话语中提取新知识。
• 利用语言学和上下文特征对提取的知识置信度进行评分。
• 将验证后的知识存储于具有版本控制的动态知识库中。
• 应用置信度阈值，仅将高质量知识集成到规则库中。
• 通过反馈回路，基于新交互重新评估并优化先前存储的知识。
• 在不重新训练整个系统的情况下，将新知识集成到对话策略中。

实验结果

研究问题

• RQ1 基于规则的对话系统能否在部署后实时从用户交互中学习新知识？
• RQ2 置信度评分如何确保新获取知识的质量？
• RQ3 增量式知识获取对长期系统性能有何影响？
• RQ4 系统如何避免因噪声用户输入导致的知识退化或过拟合？
• RQ5 何种机制可确保演进知识库的可扩展性和可维护性？

主要发现

• 在置信度阈值为0.7的情况下，系统成功从用户交互中提取并集成了超过85%的有效知识实例。
• 在真实部署六个月内持续学习后，系统在未见查询上的性能提升了22%。
• 与仅使用基线规则匹配相比，置信度评分机制将错误知识集成减少了60%。
• 即使处理了10,000条不同的用户话语后，系统仍保持超过92%的响应准确率。
• 由于随时间推移响应更加相关和个性化，用户参与度提升了35%。
• 增量更新机制实现了无需重新训练的知识扩展，降低了延迟和计算成本。