[论文解读] NUBOT: Embedded Knowledge Graph With RASA Framework for Generating Semantic Intents Responses in Roman Urdu

Johar Shabbir, Muhammad Umair Arshad+1 more|arXiv (Cornell University)|Feb 20, 2021

Topic Modeling参考文献 32被引用 6

一句话总结

本文提出 NUBOT，一种将知识图谱与 RASA NLU 和对话管理流程相结合的罗马乌尔都语聊天机器人框架，以提升意图分类和响应生成性能。通过利用基于 LDA 的意图聚类和语义知识嵌入，该系统在意图分类中实现了 96.7% 的 F1 分数，在响应生成中达到 89.1% 的置信度，显著优于低资源语言环境下的基线 RASA 系统和现有系统。

ABSTRACT

The understanding of the human language is quantified by identifying intents and entities. Even though classification methods that rely on labeled information are often used for the comprehension of language understanding, it is incredibly time consuming and tedious process to generate high propensity supervised datasets. In this paper, we present the generation of accurate intents for the corresponding Roman Urdu unstructured data and integrate this corpus in RASA NLU module for intent classification. We embed knowledge graph with RASA Framework to maintain the dialog history for semantic based natural language mechanism for chatbot communication. We compare results of our work with existing linguistic systems combined with semantic technologies. Minimum accuracy of intents generation is 64 percent of confidence and in the response generation part minimum accuracy is 82.1 percent and maximum accuracy gain is 96.7 percent. All the scores refers to log precision, recall, and f1 measure for each intents once summarized for all. Furthermore, it creates a confusion matrix represents that which intents are ambiguously recognized by approach.

研究动机与目标

• 解决在 NLP 应用中，罗马乌尔都语等低资源语言缺乏标注训练数据的问题。
• 通过语义技术和自动化数据处理，提升罗马乌尔都语中的意图分类和响应生成准确性。
• 通过人工智能和深度学习自动生成意图，减少创建训练数据集的手动工作量。
• 通过嵌入知识图谱增强对话管理，以在对话中保持上下文。
• 开发一种可扩展、领域灵活的框架，用于在资源受限语言中部署语义聊天机器人。

提出的方法

• 采用 LDA（潜在狄利克雷分布）将非结构化的罗马乌尔都语查询基于主题建模聚类为有意义的意图簇。
• 在应用 LDA 前，执行 NLP 预处理步骤，包括停用词去除以及对短或长查询的过滤。
• 将生成的意图簇整合进 RASA NLU 流程，实现意图的自动化分类。
• 将领域特定的知识图谱嵌入 RASA 对话管理模型（DMM），以保持对话历史和上下文。
• 使用 RASA 的基于故事的对话学习和响应生成框架进行模型训练与评估。
• 通过精确率、召回率、F1 分数和置信度分数对性能进行评估，涵盖意图和响应生成任务。

实验结果

研究问题

• RQ1 基于 LDA 的主题建模能否在无需大量人工标注的情况下，有效自动化低资源罗马乌尔都语文本的意图生成？
• RQ2 将知识图谱集成到 RASA DMM 中，如何提升罗马乌尔都语聊天机器人在上下文感知响应生成方面的能力？
• RQ3 与基线 RASA 和现有系统相比，所提出的 NUBOT 框架在意图和响应分类的 F1 分数和置信度方面性能提升如何？
• RQ4 语义知识嵌入在多大程度上可减少罗马乌尔都语语句意图识别中的歧义？
• RQ5 该框架在处理超出范围的查询时是否具备鲁棒性，同时保持高响应置信度？

主要发现

• NUBOT 框架在意图分类中实现了最高 96.7% 的 F1 分数，显著优于基线 RASA 框架（82.5%）和 TCNGD（50.2%）。
• 意图生成的置信度达到 85%，在 130 个唯一意图样本中最高达到 96.7%。
• 响应生成的最低 F1 分数为 82.1%，最高置信度达 89.1%，表明响应选择具有高度可靠性。
• 混淆矩阵显示意图预测的精确率为 85%，F1 分数为 96.7%，表明具有出色的判别性能。
• 当 K=10 或 20 时，LDA 产生最优聚类质量，主题标签清晰且重叠极少，有利于有效意图标注。
• 知识图谱的集成增强了上下文保持能力，使模型能够生成语义连贯、基于历史的响应。