[论文解读] Exploring the importance of context and embeddings in neural NER models for task-oriented dialogue systems

Pratik Jayarao, Chirag Jain+1 more|arXiv (Cornell University)|Dec 6, 2018

Topic Modeling参考文献 23被引用 4

一句话总结

本文在面向任务的对话系统中评估了一种改进的最先进神经命名实体识别（NER）模型，重点在于上下文融合与预训练嵌入。通过整合上一句话语并使用外部词/字符嵌入，该模型在多领域对话数据集上实现了显著的性能提升，尤其在典型对话系统中常见的噪声大、短句的场景下表现突出。

ABSTRACT

Named Entity Recognition (NER), a classic sequence labelling task, is an essential component of natural language understanding (NLU) systems in task-oriented dialog systems for slot filling. For well over a decade, different methods from lookup using gazetteers and domain ontology, classifiers over handcrafted features to end-to-end systems involving neural network architectures have been evaluated mostly in language-independent non-conversational settings. In this paper, we evaluate a modified version of the recent state of the art neural architecture in a conversational setting where messages are often short and noisy. We perform an array of experiments with different combinations of including the previous utterance in the dialogue as a source of additional features and using word and character level embeddings trained on a larger external corpus. All methods are evaluated on a combined dataset formed from two public English task-oriented conversational datasets belonging to travel and restaurant domains respectively. For additional evaluation, we also repeat some of our experiments after adding automatically translated and transliterated (from translated) versions to the English only dataset.

研究动机与目标

• 探究对话上下文与预训练嵌入对面向任务对话系统中命名实体识别的影响。
• 评估在短句且含噪声的对话设置下神经 NER 模型的性能，此类设置与传统的非对话设置存在差异。
• 评估将大规模语料库上预训练的外部词嵌入与字符级嵌入相结合，并与对话上下文特征融合的有效性。
• 通过在多语言数据上进行测试，包括英文数据集的自动翻译与音转版本，验证模型的鲁棒性。
• 在真实对话 NLU 流程中，对各项特征的贡献进行详尽的消融研究。

提出的方法

• 将近期最先进神经 NER 架构适配用于对话系统，修改其结构以处理序列化对话上下文。
• 将对话中的上一句话语作为额外的上下文特征引入，以提升在短句与模糊表达中的实体识别能力。
• 采用来自更大外部语料库的预训练词嵌入与字符级嵌入，以增强对罕见词或未登录词（OOV）的表征学习能力。
• 在两个公开的英文面向任务对话数据集（旅游与餐饮领域）的合并数据集上进行模型训练与评估。
• 通过改变上下文与嵌入类型组合的方式开展消融研究，以分离并量化各项特征的贡献。
• 在英文单语数据集基础上，通过添加自动翻译与音转版本的语料，重复关键实验，以评估模型在多语言场景下的泛化能力。

实验结果

研究问题

• RQ1 将上一句话语作为上下文引入后，对短句、含噪声的对话中 NER 性能有何影响？
• RQ2 在低资源对话设置下，预训练的词嵌入与字符嵌入在多大程度上提升了 NER 准确率？
• RQ3 对话上下文与预训练嵌入在整体模型性能中的相对贡献分别是什么？
• RQ4 当在多语言数据（包括翻译与音转版本）上评估时，模型的改进效果有多强的鲁棒性？
• RQ5 所提出的架构是否能在无需领域特定微调的情况下，跨领域（如旅游与餐饮）实现良好泛化？

主要发现

• 将上一句话语作为上下文引入后，NER 性能显著提升，尤其在模糊或依赖上下文的实体识别中效果明显。
• 使用预训练的词嵌入与字符嵌入可带来可测量的 F1 分数提升，尤其对罕见词或 OOV 实体效果更显著。
• 对话上下文与预训练嵌入的结合实现了最高性能，相比不包含这些特征的基线模型，F1 分数相对提升超过 5%。
• 模型在多语言数据上保持了强劲性能，包括自动翻译与音转版本的语句，表明其在语言变体间具有良好的泛化能力。
• 消融研究证实，上下文与嵌入特征在模型鲁棒性方面具有独立且协同的作用，尤其在噪声大、短句的场景中表现突出。
• 该模型在合并的旅游与餐饮对话数据集上达到了最先进性能，在领域特定与跨领域设置下均优于以往方法。