[论文解读] Data Augmentation with Paraphrase Generation and Entity Extraction for Multimodal Dialogue System

Eda Okur, Saurav Sahay+1 more|arXiv (Cornell University)|May 9, 2022

Topic Modeling被引用 9

一句话总结

本文提出了一种数据增强框架，用于提升面向儿童学习数学的多模态对话系统中的意图识别性能，采用模型在循环中的改写生成与领域特定实体抽取。通过结合改写生成与多任务Transformer模型，并利用ConceptNet自动标注实体，该方法在小规模、任务特定的数据集上将意图F1分数从90.6%提升至99.4%。

ABSTRACT

Contextually aware intelligent agents are often required to understand the users and their surroundings in real-time. Our goal is to build Artificial Intelligence (AI) systems that can assist children in their learning process. Within such complex frameworks, Spoken Dialogue Systems (SDS) are crucial building blocks to handle efficient task-oriented communication with children in game-based learning settings. We are working towards a multimodal dialogue system for younger kids learning basic math concepts. Our focus is on improving the Natural Language Understanding (NLU) module of the task-oriented SDS pipeline with limited datasets. This work explores the potential benefits of data augmentation with paraphrase generation for the NLU models trained on small task-specific datasets. We also investigate the effects of extracting entities for conceivably further data expansion. We have shown that paraphrasing with model-in-the-loop (MITL) strategies using small seed data is a promising approach yielding improved performance results for the Intent Recognition task.

研究动机与目标

• 解决在训练面向儿童的任务导向型对话系统时，自然语言理解（NLU）模块面临标注数据有限的挑战。
• 在典型教育应用中面向年幼儿童的低资源环境下，提升意图识别性能。
• 探究实体抽取与扩展对NLU性能的影响，特别是在领域特定情境下。
• 开发一种可扩展、低成本的实体标注方法，利用知识图谱（如ConceptNet）减少对手动标注的依赖。
• 研究改写生成与实体感知数据增强之间的协同效应，以提升模型的泛化能力与鲁棒性。

提出的方法

• 使用微调的语言模型进行模型在循环中（MITL）的改写生成，以生成多样且语义有效的原始训练语句的改写版本。
• 采用基于多任务Transformer的架构（DIET + ConveRT），联合执行意图分类与实体识别。
• 通过计算词相关性得分高于阈值（0.7）的方式，利用ConceptNet实现自动实体标注，以映射同义词并扩展实体覆盖范围。
• 从ConceptNet构建同义词词典，对spaCy的POS标注词元进行自动标注，以识别领域特定实体（如数学术语、游戏情境中的物体）。
• 将改写后的样本与实体增强的样本整合进训练数据中，以扩充原始的小规模数据集。
• 通过三轮实验的10折交叉验证评估性能，测量意图与实体识别的F1分数。

实验结果

研究问题

• RQ1 模型在循环中的改写生成是否能在小规模、任务特定的数据集上显著提升面向儿童对话系统的意图识别F1分数？
• RQ2 与spaCy的默认NER或人工标注相比，使用ConceptNet进行自动标注的实体抽取在多大程度上提升了实体识别性能？
• RQ3 在数据增强的背景下，引入领域特定实体如何影响整体意图分类性能？
• RQ4 改写与实体扩展的结合是否能在低资源环境下提升NLU模型的鲁棒性与泛化能力？
• RQ5 在教育对话系统中，人工标注与自动标注实体在F1分数与标注成本之间存在何种权衡？

主要发现

• 模型在循环中（MITL）的改写生成使基线模型的意图识别F1分数从90.6%提升至95.6%。
• 将MITL数据增强与多任务架构进一步结合后，意图F1分数提升至99.4%。
• 人工实体标注使实体识别F1分数从72.8%（spaCy NER）提升至97.1%。
• 自动标注的实体实现了92.6%的F1分数，展现出性能与标注成本之间的良好平衡。
• 在引入实体后，联合意图与实体识别模型的意图F1分数出现轻微下降，但实体增强带来的整体性能提升仍十分显著。
• 改写与自动标注实体的结合显著提升了NLU的鲁棒性，尤其在低资源设置下表现突出。